Eigene Smileys oder Bilder/Icons für Ratingskala verwenden

Vielfach werden in Fragebögen, zum Beispiel für Kinder, Smileys angeboten, um Aussagen zu bewerten. Achten Sie dabei immer darauf, dass die Emotion, die die Smileys vermitteln, auch sprachlich und inhaltlich zu Ihren Aussagen passen. Zum Beispiel ist ein trauriges Smiley nicht immer ideal, um «trifft nicht zu» auszudrücken, denn die Emotion «Traurigkeit» muss nicht zwangsläufig mit dem «Nichtzutreffen» korrelieren. Eine Ablehnung von etwas Negativem kann zum Beispiel auch Freude machen 😉

Um eine Ratingskala zu erfassen, die aus eigenen Symbolen, Icons oder Smileys besteht, müssen Sie die Symbole / Icons / Bilder / Smileys erst in einem Bildbearbeitungsprogramm erstellen und einzeln speichern.

Achten Sie darauf, dass alle Bilder die gleiche Grösse (Pixel) aufweisen. Speichern Sie diese am besten im gif-Format, oder auch png-Format, ab und benennen Sie sie sinnvoll, z.B. Smileyskala_lachenvoll.png, Smileyskala_lachenetwas.png, Smileyskala_mittel.png, Smileyskala_traurigetwas.png, Smileyskala_traurigvoll.png – oder ähnlich. Einfach so, dass Sie gut erkennen, welches Bild welches Smiley enthält.

Laden Sie dann alle Bilder unter «Fragebogen > Bilder, Sound/Video, PDF» in Ihren Account hoch.

Als nächstes erfassen Sie unter «Fragebogen» eine neue Frage, die eine Skala enthält, zum Beispiel den Fragetypen «Tabelle (Multi-Rating)».

Sie können dort nun bei der Auswahl der Skala auf «Eigene Skala» klicken und auf dem erscheinenden Tab dann «Neue, eigene Skala erstellen» anklicken.

Dort sehen Sie Eingabefelder für die Skalenausprägungen.

Geben Sie hier nun die Filenamen der Bilder an, die Sie hochgeladen haben, und vorneweg immer den Terminus «KBILD». Also zum Beispiel:
KBILDSmileyskala_lachenvoll.png
KBILDSmileyskala_lachenetwas.png
KBILDSmileyskala_mittel.png
KBILDSmileyskala_traurigetwas.png
KBILDSmileyskala_traurigvoll.png

Wenn Sie die Frage nun speichern, erscheint Ihre neue, eigene Smiley-Skala und kann auch wiederverwendet werden, in dem Sie diese für weitere Fragen einfach nur unter «Eigene Skalen» selektieren.

Beachten Sie, dass Skalen ausbalanciert sein sollten, also immer gleich viele positive wie negative Skalenausprägungen enthalten sollten. Wichtiger als die Frage, ob eine Mittelkategorie angeboten werden sollte, ist das Anbieten einer Ausweichkategorie, um Trash-Antworten zu verhindern. Zum Beispiel, in dem eine Ausprägung «keine Angabe» oder «weiss nicht/keine Antwort» angeboten wird. Dafür bietet unser System eine Extra-Option «weiss nicht», zusätzlich zu den eigentlichen Antwortvorgaben. Diese wird im Fragebogen schliesslich direkt neben den Antwortvorgaben, etwas abgesetzt und farblich abgehoben, dargestellt.

Mehrfachteilnahmen und wie Sie diese verhindern können

Obwohl es im grossen Universum der Anwendungsbereiche einer Onlineumfrage durchaus Projekte gibt, bei denen es sinnvoll ist, wenn Teilnehmende mehrfach an der Umfrage teilnehmen können, ist diese Option nicht immer erwünscht. Unser Umfragetool bietet Ihnen daher eine Auswahl an Funktionen an, über die Sie Mehrfachteilnahmen unterbinden können. Welche genau das sind, wie Sie diese anwenden und ob Mehrfachteilnahmen überhaupt ein Thema sind, mit dem Sie sich für Ihr Umfrageprojekt auseinandersetzen sollten, beschreibt der folgende Blogbeitrag.


Was sind «Mehrfachteilnahmen»?

Unter Mehrfachteilnahmen verstehen wir Fragebögen, welche von einem/einer Teilnehmenden ausgefüllt wurden, der/die bereits zuvor mindestens ein Mal an der Umfrage teilgenommen hat.

Für die mehrfache Teilnahme an Umfragen kann es verschiedene Gründe geben: Vielleicht erwartet die Teilnehmenden am Ende der Befragung eine attraktive Belohnung oder ein interessantes Gewinnspiel? Oder der/die Teilnehmende ist so begeistert von Ihrem Produkt, dass er/sie diese Begeisterung direkt zwei oder drei Mal zum Ausdruck bringen möchte? Auch dass die Teilnehmenden schlicht vergessen haben, dass sie die Umfrage bereits ausgefüllt hatten, kann ein Grund für eine Mehrfachteilnahme sein. Seltener ist zudem auch das absichtliche beeinflussen der Umfrageergebnisse das Ziel von Teilnehmenden, die mehrfach an einer Befragung teilnehmen.

Unabhängig von der Motivation der Teilnehmenden für die erneute Teilnahme, können Mehrfachteilnahmen negative Auswirkungen auf die Datenqualität Ihrer Umfrage haben. So ist es beispielsweise wahrscheinlich, dass Teilnehmende, die alleinig Ihre Chancen auf einen Gewinn erhöhen möchten, bei der zweiten oder dritten Teilnahme wahllos Antworten ankreuzen und somit verschmutzte Daten generieren, die das Ergebnis verzerren (mehr zum Thema verschmutzte Daten finden Sie in unserem Blogeintrag Speeder, Musterankreuzer und Straightliner: Verschmutzte Daten und wie man Ihnen entgegenwirken kann ).
Auch wenn Teilnehmende den Fragebogen mehrfach ehrlich ausfüllen, wird das Ergebnis durch die Mehrfachteilnahmen verfälscht, da die Rückmeldung des/der entsprechenden Mehrfachteilnehmers/Mehrfachteilnehmerin in der Gesamtstichprobe Ihrer Umfrage nun überrepräsentiert wird.

Aus diesen Gründen ist es wichtig, dass Sie sich vor dem Start Ihrer Umfrage mit der Thematik auseinandersetzen und sich die Frage stellen: Gibt es für die Teilnehmenden meiner Umfrage Anreize, den Fragebogen mehrfach auszufüllen? Und hätte eine solche Mehrfachteilnahme negative Auswirkungen auf die geplante Auswertung / Weiterverwertung der Umfragedaten?


Mehrfachteilnahmen einmal erwünscht, einmal unerwünscht – ein Beispiel

Projekt A:
Sie planen Workshops, an denen die Mitarbeitenden Ihres Unternehmens kostenlos teilnehmen können. Für die Anmeldung zu den entsprechenden Workshops erstellen Sie eine Onlineumfrage, bei der die Teilnehmenden ihre Kontaktdaten angeben und den gewünschten Workshop auswählen können. Um die Erstellung der Teilnehmerlisten möglichst einfach zu gestalten, ist pro Workshop eine Anmeldung erforderlich. Es gibt keine Begrenzung dafür, für wie viele Workshops sich ein/e Mitarbeiter/in anmelden darf.

In diesem Anwendungsfall ist es durchaus sinnvoll und auch erwünscht, dass die Teilnehmenden mehrmals an der Umfrage teilnehmen können. Mehfachteilnahmen stellen in Bezug auf die Auswertung kein grosses Risiko dar. Einzig die Teilnehmerlisten für die einzelnen Workshops sollten ggf. noch manuell auf Doppel-Einträge überprüft werden für den Fall, dass ein/e Teilnehmende/r sich aus Versehen zwei Mal für denselben Workshop angemeldet hat.

Projekt B:
Um die Rückmeldungen der Teilnehmenden zu den Workshops zu sammeln und diese für das kommende Jahr weiter zu verbessern, planen Sie Feedback-Umfragen durchzuführen. Dabei wird für jeden der angebotenen Workshops eine eigene Umfrage mit Workshop-spezifischen Fragen erstellt. An der Umfrage teilnehmen sollen alle Mitarbeitenden, die den entsprechenden Workshop besucht haben.

In diesem Anwendungsfall ist es wichtig, dass jede/r Teilnehmende nur einmal Feedback abgeben kann um sicherzustellen, dass die Rückmeldungen aller Teilnehmenden in der Auswertung mit demselben Gewicht einfliessen. Daher sollten Mehrfachteilnahmen verhindert werden.


Mehrfachteilnahmen verhindern – unsere Funktionen

In unserem Umfrage-Tool gibt es grundsätzlich drei Optionen, die Sie dabei unterstützen, Mehrfachteilnahmen möglichst zu verhindern: den Befragungstyp «geschlossene Umfrage», sowie die weiteren Sicherheitsoptionen «Cookie-Sperre» und «IP-Sperre».


Geschlossene Umfrage

Der Umfragemodus «geschlossene Umfrage» ist die sicherste Option um eine Mehrfachteilnahme zu verhindern. Im Unterschied zu den Befragungstypen «offene» und «halboffene Umfrage», bei denen der Zugangslink (und im Fall der halboffenen Umfrage auch das Passwort) für alle Teilnehmenden identisch sind, werden beim Befragungstyp «geschlossene Umfrage» individuelle Zugangslinks oder Passwörter erstellt.

Jede/r Teilnehmende hat damit genau einen Zugang zur Umfrage zur Verfügung. Mehrfachteilnahmen sind nur möglich, wenn ein/e Teilnehmende/r mehrmals zur Befragung eingeladen würde oder von anderen Teilnehmenden die entsprechenden Zugänge erhält.

Um den Befragungstyp «geschlossene Umfrage» für Ihre Umfrage einzustellen, gehen Sie bei der entsprechenden Umfrage in den Menübereich «Teilnehmer» und klicken bei «1. Schritt > Befragungstyp wählen» auf den Link «offen, halboffen, geschlossen»
Wählen Sie nun im anschliessenden Menü die geschlossene Umfrage an und speichern Sie Ihre Einstellungen anschliessend über den grünen Button «Jetzt speichern!» ab.

Wichtig: Eine geschlossene Umfrage ist im Unterschied zur halboffenen oder offenen Umfrage grundsätzlich nicht anonym, da sich die einzelnen Teilnehmenden über den Ihnen zugewiesenen individuellen Zugang identifizieren lassen. Wenn Sie Ihren Teilnehmenden die Anonymität gewährleisten, aber dennoch von den Vorteilen der geschlossenen Umfrage profitieren möchten, aktivieren Sie zusätzlich die «Anonymisierungsgarantie» im Menübereich «Teilnehmer» unter «1. Schritt > Weitere Sicherheitsoptionen > Anonymisierungsgarantie».

Weitere Informationen zu den verschiedenen Befragungstypen finden Sie auch in unserem Blogbeitrag Welcher Umfragemodus (offen / halboffen / geschlossen) ist der Richtige für mich? .


Cookie- und IP-Sperre

Wenn die geschlossene Umfrage für Ihr Projekt nicht in Frage kommt (z.B. weil Sie diese über einen QR-Code am Ende des Workshops einblenden möchten und der Zugangslink daher für alle Teilnehmenden zwingend derselbe sein muss) oder Sie Ihre Umfrage zusätzlich zur geschlossenen Umfrage noch weiter absichern möchten, stehen Ihnen im Menübereich «Teilnehmer» unter 1. Schritt > Weitere Sicherheitsoptionen» die Funktionen «Cookie-Sperre» und «IP-Sperre» zur Verfügung.

Wie es die Namen schon sagen, verhindern die zwei Funktionen nach dem ersten Zugriff das erneute Aufrufen eines neuen Fragebogens entweder anhand der IP-Adresse des/der Teilnehmenden oder auf Basis der gespeicherten Cookies im Browser. Unser System prüft dabei, ob bereits ein Rücklauf mit der entsprechenden IP besteht oder ob im Browser bereits ein Umfrage-Cookie vorhanden ist, das zu der entsprechenden Umfrage gehört.

Dies kann in bestimmten Fällen jedoch auch zu Unstimmigkeiten führen. Beispielsweise dann, wenn mehrere Teilnehmende sich im selben Firmennetz befinden und daher dieselbe IP-Adresse haben oder wenn ein Gerät von mehreren Personen zum beantworten des Fragebogens verwendet wird. In beiden Fällen wäre eine Teilnahme jeweils nur für die erste Person möglich, alle weiteren Teilnehmenden aus diesem Firmennetz / von diesem Gerät würden danach durch die Cookie- oder IP-Sperre blockiert.

Einen kurzen Überblick über die Funktionsweise und allfällige Herausforderungen mit der Cookie- und IP-Sperre finden Sie in der nachfolgenden Tabelle. Grundsätzlich gilt, dass die Cookie-Sperre in vielen Fällen ein geeignetes Mittel ist, während die IP-Sperre nur mit Vorsicht eingesetzt werden sollte, da über diese ganze Firmen oder öffentliche Institutionen von einer Teilnahme ausgeschlossen werden können.

 Cookie-Sperre  IP-Sperre
Lässt erneuten Zugriff auf Umfrage nicht zu, wenn…… im Browser bereits ein OU-Umfrage-Cookie vorhanden ist, dass zur entsprechenden Umfrage gehört  … bereits ein Rücklauf mit derselben IP-Adresse in der Datenbank der Umfrage vorliegt
Kann umgangen werden, in dem…… die Browser-Cookies gelöscht werden   … ein anderer Browser verwendet wird   … ein anderes Gerät verwendet wird  … ein anderes Netz (z.B. mobiles Netz, Heim- oder Firmennetz etc.) verwendet wird   … über VPN oder einen ähnlichen Service eine neue IP-Adresse erlangt wird  
Führt ggf. zu Unstimmigkeiten, wenn…… mehrere Teilnehmende dasselbe Gerät (und denselben Browser) verwenden  … mehrere Teilnehmende über dieselbe IP-Adresse auf die Umfrage zugreifen (z.B. Firmen, Haushalte, öffentliches WLAN an einer Universität / Schule etc.)  

Aus den oben aufgeführten Gründen, ist es wichtig, den Einsatz der Cookie- und/oder IP-Sperre jeweils gründlich zu überdenken. Im Zweifelsfall stehen Ihnen unsere Consultants bei der Entscheidung für/gegen eine IP- und/oder Cookie-Sperre gerne beratend zur Seite.

Um die Cookie- und/oder IP-Sperre in Ihrer Umfrage zu aktivieren, gehen Sie in den Menübereich «Teilnehmer» und wählen unter «1. Schritt > Weitere Sicherheitsoptionen» den entsprechenden Link an. Setzen Sie im erscheinenden Menü die entsprechenden Haken und speichern Sie Ihre Eingabe über einen Klick auf den grünen Button.


Unsere Empfehlung

Grundsätzlich empfehlen wir, wenn Mehrfachteilnahmen für Ihre Umfrage nicht erwünscht sind, nach Möglichkeit immer den Befragungsmodus «geschlossene Umfrage» (ggf. mit aktiver Anonymisierungsgarantie) zu verwenden. Dies ist die sicherste Art und Weise, Ihre Daten vor den negativen Effekten von Mehrfachteilnahmen zu schützen.

Sollte die geschlossene Umfrage keine Möglichkeit sein, ist die Cookie-Sperre in der Regel eine gute Option, um dennoch einen gewissen Schutz vor Mehrfachteilnahmen zu haben. Die IP-Sperre sollte dagegen nur dann angewendet werden, wenn mit Sicherheit ausgeschlossen werden kann, dass mehrere Teilnehmende vom selben Netzwerk aus teilnehmen.

Eigene Fonts (Schriftarten) einbinden

Um Ihre Umfrage mit eigenen Schriftarten auszustatten, gibt es verschiedene Möglichkeiten.

  1. Prüfen Sie erst einmal, ob bei den von uns angebotenen Systemschriften eine passende Alternative dabei ist. Wir haben versucht, für die meisten gängigen Schriften passende lizenzfreie Google-Schriften als Alternative anzubieten. Sie finden die generell verfügbaren Schriften mit einem einzigen Klick aktivierbar unter «Fragebogen > Aussehen/Eigenes Logo» rechts unten.
Standard Schriftarten des Systems

2. Sollten Sie eine andere Schrift bevorzugen oder mehrere Schriften kombinieren wollen, können Sie die Schrift(en) auch über die Funktion «Fragebogen > Aussehen/Eigenes Logo > Eigene CSS» selbst importieren.

Schriften aus Google Fonts können dabei besonders einfach integriert werden:

Wählen Sie die Schrift dazu einfach unter Google Fonts aus, klicken Sie auf «@import» und kopieren Sie den gelb markierten Code.

Sie können diesen Code dann in onlineumfragen.com unter «Fragebogen > Aussehen/Eigenes Logo > Eigene CSS» in den eigenen CSS-Code kopieren.

@import url('https://fonts.googleapis.com/css2?family=Noto+Sans:ital,wght@0,400;0,700;1,400;1,700&display=swap');

Sie können dann beliebige CSS-Klassen, die in der Umfrage verwendet werden, umdefinieren.

Die Umfrage können Sie unter «Fragebogen > Ganzen Fragebogen testen!» testen und dann z.B. mit Chrome im Entwicklertools aktivieren, um den Quellcode zu untersuchen. Sie sehen dann die verwendeten CSS-Klassen:

Quellcode untersuchen mit Google Chrome und CSS-Klassen erkennen

Der Titel über der Frage ist immer «fragetitel». Sie können also in den «Eigene CSS» einfach die Klasse fragetitel neu definieren:

.fragetitel { font-family: "Noto Sans", Arial, Helvetica, sans-serif, sans }

Die typischen Klassen, die meistens in einem neuen Font erscheinen sollen sind folgende (sie können diese CSS-Definitionen einfach so übernehmen und den Font anpassen):

.schriftklein, .schriftmittel, .schriftgross, .bodytext, .breadcrumbblack, .agbtext, .hinweiscol, .fragetitel { font-family: "Noto Sans", Arial, Helvetica, sans-serif;}

Möchten Sie ganz eigene Schriften verwenden, für die Sie eine Lizenz besitzen, auch wenn sie in der Umfrage angezeigt werden? Dann können Sie über unseren Support unter info@onlineumfragen.com gerne mit uns Kontakt aufnehmen. Unsere Survey Consultants helfen Ihnen gerne weiter. Wir binden die Schrift dann lokal auf unsere WebServer / Proxy-Server ein, damit die Schrift bei uns jederzeit zugänglich ist (gehostet wird), und binden diese über die «Eigene CSS»-Funktion für Sie ein.

Tabellenfragen mit Sticky/fixierten Headern und erster Item-Spalte

Wenn Tabellenfragen besonders lang oder breit sind, kann es auf kleineren Bildschirmen für Ihre Teilnehmenden unübersichtlich sein, diese zu beantworten. Bei den unteren Zeilen verschwindet die erste Zeile der Tabelle, die die Skala beinhaltet. Standardmässig wird die erste Zeile (Skala) fixiert, d.h. die weiteren Zeilen scrollen «unter» dieser fixierten ersten Skala-Zeile durch.

Die selbe Option ist für die erste Spalte möglich, so dass bei besonders breiten Skalen, die nicht auf einer Bildschirmbreite zu sehen sind, die erste Item-Spalte stehen bleiben kann.

Die Option wird unter «Fragebogen > Aussehen/Eigenes Logo» unter «Tabellenfragen-Item-Spalte fixieren (Skalen scrollen horizontal unter die Item)» aktiviert.

«Tabellenfragen-Item-Spalte fixieren (Skalen scrollen horizontal unter die Item)» aktivieren.

Dies sieht dann in der Umfrage folgendermassen aus:

Voilà.

Welcher Umfragemodus (offen / halboffen / geschlossen) ist der Richtige für mich?

Unser Tool bietet Ihnen im Menübereich «Teilnehmer» beim 1. Schritt unter «Befragungstyp wählen» verschiedene Optionen für Ihren Umfragemodus. Es kann eine Wahl zwischen geschlossen, halboffen und offen getroffen werden. Im folgenden Blogeintrag werden die einzelnen Möglichkeiten genauer beschrieben und Ihnen erläutert, wann welcher Modus am sinnvollsten ist, um Ihnen Ihre Wahl zu erleichtern.

Geschlossene Umfrage

Der geschlossene Befragungstyp eignet sich für Mitarbeitendenbefragungen, Kundenbefragungen, sichere Befragungen oder wenn es sich um Befragungen mit einem fixen und Ihnen bekannten Personenkreis handelt. Jede*r Teilnehmer*in erhält ihr*sein persönliches Passwort für die Befragung. Dieses Passwort kann entweder von unserem System automatisch generiert und in die Einladungsmail integriert werden oder das System kann die Passwörter automatisch generieren, ohne sie in die Einladungsmail zu inkludieren. Möchten Sie, dass die Passwörter automatisch generiert und in die Einladungsmail integriert werden, so können Sie im Menübereich «Teilnehmer» unter «Einladungs-Mail für Teilnehmer verfassen» in der Einladungsmail mit dem Code %PASSWORT% für alle Teilnehmenden individuelle Passwörter integrieren.

Es besteht ebenfalls die Möglichkeit, das Passwort direkt in den Link der Umfrage zu integrieren. Hierfür können Sie im Menübereich «Teilnehmer» unter «Einladungs-Mails versenden» die Option «Passwort direkt in den Link verpacken, keine separate Passwort-Eingabe nötig (One-Click)» anwählen. Nun erhält jede*r Teilnehmende einen personalisierten Link und muss das Passwort nicht in die Eingabemaske eingeben. Dadurch wird die Benutzerfreundlichkeit der Umfrage gesteigert und die Teilnehmenden können direkt mit der Umfrage starten.

Wenn Sie die Passwörter selber verteilen möchten, so lassen Sie die Passwörter automatisch generieren, ohne diese in die Einladungsmail einzufügen. Diese Option finden Sie im Menübereich «Teilnehmer» unter «Passwörter generieren für neue oder weitere User, die Sie selbst informieren (Brief, Telefon, eigene Mailings)» und wählen Sie hier die Variante 2: «Passwörter / Links generieren ohne E-Mail-Adressen». Nun können Sie die Passwörter in Ihrem eigenen Mailprogramm versenden oder, falls erwünscht, auch ausdrucken. Das individuelle Passwort erlaubt den Teilnehmenden nach einem Unterbruch in der Befragung dort einzusteigen, wo sie den Fragenbogen verlassen haben, und ihn weiter zu bearbeiten. Ebenfalls verhindert ein persönliches Passwort die mehrfache Teilnahme einer Person an der Umfrage.

Versenden Sie den geschlossenen Fragebogen ohne aktivierte Anonymisierungsgarantie, so kann der ausgefüllte Fragebogen problemlos den Befragten zugeordnet werden. Es ist also möglich, die einzelnen Antworten auf einzelne Teilnehmende zurückzuführen. Falls Sie dies nicht wünschen, können Sie Ihre Umfrage mit einem Mausklick anonymisieren. Dadurch sind keinerlei Rückschlüsse der Fragebögen auf die Befragten möglich. Die Einstellungen zur Anonymisierung können Sie im Menübereich «Teilnehmer» unter «Anonymisierungsgarantie» bearbeiten.

Halboffene Umfrage

Diese Umfrageform bietet sich vor allem für nicht komplett öffentliche Umfragen, die einen halboffenen Teilnehmerkreis haben, an. So zum Beispiel, wenn Sie eine Umfrage in einem Verein durchführen möchten, aber Ihnen die Kontaktdaten einiger Vereinsmitglieder fehlen. Bei halboffenen Umfragen erhalten alle Teilnehmenden dasselbe Passwort. Dieses Passwort kann beispielsweise auch firmenintern weitergegeben werden, denn jede Person, die das Passwort besitzt, kann an der Umfrage teilnehmen. Eine halboffene Umfrage gibt den Teilnehmenden die Gelegenheit, beliebig oft an einer Umfrage teilzunehmen. Solche Wiederholungstäter können jedoch anhand einer Cookie- oder IP-Sperre-Einstellung aufgehalten werden. Entscheiden Sie sich für die Cookie-Sperre, so werden auf den PCs der Teilnehmenden Cookies installiert, die beim zweiten Teilnahmeversuch vom System erkannt werden und die Teilnehmenden abweisen. Bei der IP-Sperre wird die IP-Adresse der Teilnehmenden untersucht. Wurde die IP-Adresse bereits in unserer Datenbank abgelegt, so verhindert das System eine erneute Teilnahme. Hier ist zu beachten, dass in Firmennetzwerken oft alle Mitarbeitenden mit derselben IP-Adresse surfen. Stellen Sie in diesem Fall eine IP-Sperre ein, kann nur ein einziges Mitglied der Firma an der Umfrage teilnehmen. Grundsätzlich empfehlen wir, bei Umfragen wie Mitarbeitendenbefragungen keine IP-Sperre einzurichten. Diese Einstellungen finden Sie im Menübereich «Teilnehmer» unter «Cookie-Sperre, IP-Sperre, IP-Range».

Sie haben die Option, Ihre halboffene Umfrage anonymisiert oder nichtanonym durchzuführen. Für eine Zuordnung der Fragebogen zu den Teilnehmenden ist es notwendig, die Tracking-Option zu aktivieren. Die Tracking-Funktion wird im Menübereich «Teilnehmer» unter «Einladungsmails versenden» anhand der Funktion «Teilnehmervefolgung einschalten» freigeschalten. Hier wird bei jedem Link zur Umfrage ein individueller Zusatz am Schluss angefügt, um die einzelnen Teilnehmenden zu tracken. Damit das Tracking durchgeführt werden kann, muss beim Einladungsmail folgender Befehl hinzugefügt werden: %LINK%. Der Code wird im Einladungsmail durch den Link zur Befragung, der den Zusatz für das Tracking erhält, ersetzt. Wird der Link der Umfrage weitergeleitet, können die Antworten der nächsten Person, die die Umfrage ausfüllt, nicht mehr getrackt werden. Um alle Teilnehmenden zu tracken, wird am besten eine geschlossene Umfrage mit einem persönlichen Passwort durchgeführt. Die Tracking-Option zu aktivieren ist vor allem dann sinnvoll, wenn Ihnen nicht alle Teilnehmenden bekannt sind, Sie die Ihnen bekannten Teilnehmenden dennoch den Fragebögen zuordnen möchten. Das Tracking kann nachträglich entfernt werden, um den Teilnehmenden eine anonymisierte Umfrage zu bieten.

Offene Umfrage

Möchten Sie eine Umfrage auf Ihrer Website, in Ihrem Newsletter oder in einem Forum mit beliebigen Teilnehmenden durchführen? Dann ist der offene Umfragetyp ideal für Sie! Für die Teilnahme an einer offenen Umfrage braucht es kein Passwort für die Befragten. Jede Person, die den Link der Umfrage hat, kann an der Befragung teilnehmen. Den Link zur Umfrage finden Sie im Menübereich «Teilnehmer» rot hinterlegt.

Es steht den Befragten ebenfalls frei, so oft sie möchten an der Befragung teilzunehmen. Auch hier können Sie Cookie- oder IP-Sperre-Einstellungen vornehmen, um dies zu verhindern. Schalten Sie beim Versand die Tracking-Option ein, ist die Zuordnung der Fragebögen an die Teilnehmenden möglich. Diese kann nachträglich entfernt werden.

Abschliessend lassen sich die Umfragetypen folgendermassen zusammenfassen: Eine geschlossene Umfrage ist dann sinnvoll, wenn Ihnen Ihr Teilnehmerkreis bekannt ist und Sie Mehrfachteilnahmen ausschliessen möchten. Halboffene Umfragen sollen angewendet werden, wenn nicht jede*r teilnehmen darf und nicht alle Email-Adressen der Teilnehmenden bekannt sind. Für offene Umfragen entscheiden Sie sich am besten, wenn Ihnen Ihr Teilnehmerkreis nicht bekannt ist.

Sind Sie sich nicht sicher, für welchen Umfragemodus Sie sich entscheiden sollen oder benötigen Sie Hilfe bei der Anonymisierung Ihrer Umfrage? Nehmen Sie Kontakt mit uns auf! Unsere Mitarbeiter unterstützen und beraten Sie gerne zu den verschiedenen Umfragetypen.

Speeder, Musterankreuzer und Straightliner: Verschmutzte Daten und wie man Ihnen entgegenwirken kann

Onlinebefragungen bringen viele ökonomische Vorteile mit sich: Sie sind vergleichsweise kostengünstig, zeitsparend und angenehm auszuwerten. Aber auch aus methodologischer Sicht haben Sie anderen Befragungsmethoden gegenüber die Nase vorn: Interviewereinflüsse fallen weg und auch die Auswirkungen von sozialer Erwünschtheit auf das Antwortverhalten können erfolgreich minimiert werden. Kein Wunder, dass dieser Befragungsmodus in den letzten Jahren an enormer Beliebtheit gewonnen hat.

Allerdings bringt der hohe Grad an (empfundener) Anonymität in der typischen Onlinebefragung auch einige Probleme mit sich: Teilnehmer fühlen sich bei schriftlichen (Online)Befragungen weniger verpflichtet den Fragebogen gewissenhaft auszufüllen, als wenn Ihnen beispielsweise ein Interviewer gegenübersitzt oder am Telefon zuhört. Dadurch erhöht sich auch die Tendenz zum Ankreuzen von falschen oder willkürlichen Antworten, insbesondere dann, wenn die Teilnehmer zum Ausfüllen des Fragebogens verpflichtet werden oder am Ende der Befragung ein attraktiver Incentive (z.B. Gutschein, Verlosung) wartet. Solches Verhalten – wahlloses- oder Muster-Ankreuzen, sowie die systematische Wahl einer spezifischen Antwortmöglichkeit– verschmutzt die Daten und kann zu Verzerrungen in den Auswertungen führen. Die ist vor allem dann besonders problematisch, wenn die Rücklaufzahl insgesamt eher gering oder der Anteil der verschmutzten Rückläufe hoch ist.

Inhaltsabhängiges vs. Inhaltsunabhängiges verschmutzendes Verhalten

Wenn man von verschmutzten oder verzerrten Daten spricht, kann man grundsätzlich zwischen zwei Arten von potentiellen Ursachen für dieses Verhalten unterscheiden: Ursachen, die aus dem Inhalt des Fragebogens entstammen (inhaltsabhängiges Verhalten), und Ursachen welche unabhängig vom Befragungsinhalt auftreten und somit vom Teilnehmer selbst ausgehen (inhaltsunabhängiges Verhalten).

Bekannte Beispiele von Ursachen für inhaltsabhängiges verschmutzendes Verhalten sind beispielsweise Reihenfolgeeffekte, Suggestivfragen oder nicht-ausbalancierte Skalen. Um diesen Arten von Effekten entgegen zu wirken, wurden durch die Methodenforschung zahlreiche Standardregeln entwickelt, die bei der Gestaltung von Befragungen eingehalten werden sollen. Eine gute Zusammenstellung dieser Regeln sowie auch der verschiedenen Ursachen finden Sie beispielsweise in Rolf Porst (2013) «Fragebogen – Ein Arbeitsbuch».

Hauptthema dieses Blogbeitrags ist jedoch jenes Verhalten, welches weitaus weniger erforscht und komplexer auszumerzen ist: das inhaltsunabhängige verschmutzende Verhalten. Als Durchführer/in einer Onlinebefragung haben Sie im Normalfall keinen Einfluss auf das Verhalten und die Prädisposition des Teilnehmers, der zu Hause vor dem Bildschirm sitzt und Ihre Umfrage ausfüllt. Dennoch gibt es eine Handvoll Techniken, die es Ihnen erlauben, den Grad der Verzerrung durch diese Art von Verhalten zu minimieren.

Response Sets

Mit Response-Set wird ein Muster in der Beantwortung von Fragebatterien gemeint, welches unabhängig vom Inhalt der Frage oder des Fragekontexts auftritt. Solche Muster können in verschiedenen Formen auftreten. Die häufigsten dieser Formen sind dabei:

  1. Response Range: Ein Teilnehmer verwendet unabhängig vom Inhalt der Frage oder der Ausrichtung der Antwortvorgaben immer nur einen bestimmten Bereich der Skala.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage den ersten oder zweiten Skalenpunkt resp. die erste oder zweite Antwortmöglichkeit an – unabhängig von der Polung (Ausrichtung) der Skala oder der Anzahl möglicher Antworten (Abstufungen). Innerhalb einer Tabellenfrage könnte dies Beispielsweise so aussehen:

  2. Extreme Checking Style: Ein Teilnehmer kreuzt abwechselnd den linken und den rechten Extrempunkt der Skala an.
    Beispiel: Bei Frage 1 wählt der Teilnehmer die erste (oder auf einer Likert-Skala, die am weitesten links liegende) Antwortmöglichkeit, bei Frage 2 die Letzte (am weitesten rechts), bei Frage 3 wieder die Erste (Links), bei Frage 4 die Letzte (Rechts), etc.

  3. Muster-Ankreuzer: Wenn man das Antwortbild einer Tabellenfrage (z.B. Fragetypen «Tabelle Multi-Rating«, «Tabelle Multiple-Choice» oder «Freie Matrix» unseres Tools) betrachtet, lassen sich Muster, wie beispielsweise Diagonalen oder Pfeile, finden.
    Beispiel:
  4. Straightliner: Teilnehmende weisen ein sogenanntes Null-Varianz Antwortverhalten auf, d.h. Sie kreuzen immer dieselbe Antwort an, unabhängig von der Anzahl Antwortmöglichkeiten oder der Polung der Skala. Besonders oft wird die durchgängige Wahl des mittleren Skalenpunktes («Centrism») oder eines Extremwerts («Extremism») beobachtet.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage die erste Antwortoption aus («Extremism)».

Grundsätzlich sind alle Formen von Response-Sets sowohl zwischen als auch innerhalb von Fragen mit mehreren bewertbaren Items auffindbar. Allerdings sind Straightliner und Muster-Ankreuzer tendenziell eher innerhalb einer Tabellenfrage anzutreffen.

Folgen

Besonders Straightliner sind bei unmotivierten Teilnehmern beliebt. Studien ergeben, dass bei einer offenen Onlinebefragung jeder vierte Teilnehmer mindestens eine von neun ausgewählten Fragen mit Null-Varianz Antwortverhalten beantwortet hat (Jandura, 2018). Doch wie schwerwiegend sind die Folgen von Response-Sets für die Datenqualität und Auswertungen?

Für viele der gängigen statistischen Auswertungen sind die Auswirkungen glücklicherweise gering. Gerade bei Häufigkeitsauszählungen (OU-Standardauswertung), Mittelwerten, einfachen Streuungsmassen oder Korrelationsmassen werden nur marginale Effekte nachgewiesen. Allerdings wächst die Differenz zwischen den Ergebnissen mit und ohne Teilnehmer mit Response-Sets mit dem Anteil der Befragten, die auf solches verschmutzendes Verhalten zurückgreifen.
Aus diesem Grund sollte man sich auch bei solchen Auswertungen Gedanken darüber machen, ob und in welchem Ausmass verschmutzendes Verhalten vorliegen könnte und wie damit umgegangen werden soll.

Stark problematisch werden durch Response-Sets verschmutzte Daten jedoch bei Analysen, die sich an der Ähnlichkeit von Antworten orientieren. Dazu gehört allen voran die Cluster-Analyse (z.B. Chi-Quadrat, Jaccard-Koeffizient, oder Pearson Korrelationskoeffizient), welche beispielsweise bei Zielgruppen- oder Zusammenhangsanalysen eingesetzt werden. Auch in unserem Tool können solche Analysen mittels der Auswertungsfunktion «Chi-Quadrat-Mehrfeldertest mit Kreuztabelle (für nominale Items) / Signifikanz / Pearson / Cramer)» vorgenommen werden.

Wenn davon ausgegangen werden muss, dass Teilnehmer mit Response-Sets vorhanden sind und diese die Auswertungen bedeutend verzerren, muss vor den Auswertungen eine Datensatzbereinigung vorgenommen werden. Bei dieser Bereinigung werden verschmutzte Rückläufe aus dem Datensatz gelöscht oder zumindest von der Auswertung ausgeschlossen (z.B. über die Superfilter-Funktion unseres Onlinetools).

Identifikation & Datensatzbereinigung

Es gibt verschiedene Arten um verschmutzendes Verhalten zu identifizieren. Die meisten Strategien beziehen sich dabei auf die Identifizierung nach der Messung, d.h. nachdem die Feldphase der Befragung beendet wurde und der Datensatz vorliegt. Allerdings gibt es auch einige Möglichkeiten, bereits bei der Gestaltung des Fragebogens Mechanismen einzubauen, die die Identifizierung von Response-Sets vereinfachen.

Zu diesen Mechanismen gehören sogenannte Aufmerksamkeitstests, die überprüfen ob die Aufgaben sorgfältig gelesen und ausgefüllt werden. Beispielsweise können in der Frageformulierung unübliche Anweisungen gegeben werden («Kreuzen Sie die nachfolgende Checkbox nicht an, wenn Sie dies gelesen haben»). Eine zweite gängige Technik sind umgepolte (umgedrehte) Skalen (z.B. wenn «sehr gut» plötzlich nicht mehr am linken sondern am rechten Ende der Skala aufzufinden ist) oder Fallen, die widersprüchliches Verhalten aufdecken. Beispielsweise kann ein Produkt, von dem der Teilnehmer in einer früheren Frage angegeben hat, dass er es nicht kennt, trotzdem in Folgefragen mitangezeigt werden. Falls der Teilnehmer dann dieses Produkt trotzdem bewertet statt «Kenne ich nicht» anzuwählen,  widerspricht er sich selbst, was darauf hindeutet, dass eine der beiden Fragen nicht korrekt gelesen oder einfach willkürlich geantwortet wurde.

Für die Identifikation der Response-Sets im Datensatz, d.h. nach Ende der Befragung, schlägt die Methodenliteratur verschiedene Verfahren vor:

  1. Response Range: Vergleich der Standardabweichung über alle Items. Geringe Standardabweichungen weisen auf die Verwendung von Response Range hin.
  2. Straightliner: Teilen der Anzahl Male, die eine Antwortmöglichkeit (z.B. die erste Antwortmöglichkeit) gewählt wurde, durch die Anzahl der Items dieser Tabellenfrage (z.B. 5x die erste Antwortkategorie / 6 Items = 0.83) oder die Gesamtzahl Fragen im Fragebogen. Wenn der Quotient 1 beträgt, liegt Nullvarianz im Antwortverhalten vor.
  3. Extreme Checking Style: Auch hier ist der für die Straightliner unter 2. beschriebene Quotient ein guter Indikator. Wenn Extreme Checkying Style vorliegt, beträgt dieser für alle Antwortkategorien, mit Ausnahme der Extrempunkte (erste und letzte Antwortmöglichkeit), null. Für die Extrempunkte sollte ein Quotient von etwa 0.5 vorliegen.
  4. Muster-Ankreuzer: Eine anerkannte «einfache» Methode, wie bei den anderen Response-Sets, gibt es hier leider nicht.
    Wir empfehlen die Antwortzeiten für die jeweilige Tabellenfrage zu untersuchen und darin die Speeder (Befragte, deren Antwortzeit für diese Frage weniger als die Hälfte des Medians der Antwortzeit für diese Frage beträgt) zu identifizieren. Über die Funktion «Ausgefüllte (einzelne) Fragebogen anzeigen/ausdrucken («Originale» aller Teilnehmer)» unseres Tools, lassen sich anschliessend die Fragebögen der ausgewählten Teilnehmer anzeigen und einzeln von Auge auf Muster überprüfen.

Der komplette Ausschluss von Speedern von der Auswertung, ist übrigens ein Verfahren, dass in der Marktforschung regelmässig angewandt wird, um die Qualität des Datensatzes zu verbessern. Wir empfehlen jedoch, nicht blind nach der Regel «Alles, was unter der Hälfte des Medians der Bearbeitsungszeit ist, ausschliessen» vorzugehen. Gerade bei Fragebögen mit Pfaden oder Sprüngen kann die Ausfüllzeit je nach persönlicher Pfadführung dramatisch variieren. Viel mehr sollte auf den Kontext der Befragung und die Zielgruppe geachtet werden.

So empfiehlt sich das Entfernen von Speedern grundsätzlich bei Panelbefragungen, Pflichtbefragungen oder Befragungen, die öffentlich publiziert werden und einen attraktiven Incentive bieten. Weniger häufig auftreten sollten Speeder bei Befragungen von ausgewählten Gruppen wie beispielsweise Mitarbeitern oder Kunden mit engem Kontakt.

Gültige Straightliner: Nullvarianz-Antwortverhalten als Ausdruck von Validität und Reliabilität der Umfrage

Mit ihrem Artikel «Valid vs. Invalid Straightlining: The Complex Relationship Between Straightlining and Data Quality» beleuchten Kevin Reuning und Eric Plutzer einen interessanten zweiten Blickwinkel auf das Thema «Straightliner»: Gültige Straightliner als Ausdruck der Konsistenz von Itembatterien— ein Zeichen guter Datenqualität statt verschmutzter Daten.

Die Autoren argumentieren, dass in vielen gängigen Umfrageformaten ein Nullvarianz-Antwortverhalten durchaus plausibel ist. Beispielsweise sollten Teilnehmende, die nie Erfahrung mit Mobbing gemacht haben, eine Reihe an Fragen zur Erfahrung mit verschiedenen Arten von Schikanen konsequent mit «nie» beantworten.

Es ist demnach zu erwarten, dass eine Itembatterie, deren Skala das gewünschte unterliegende Merkmal mit hoher Genauigkeit misst (hohe Reliabilität und Validität), bei gewissenhaften Teilnehmenden zu einem Nullvarianz-Antwortverhalten führt, sofern die Items allesamt in dieselbe Richtung formuliert sind.

Reuning und Plutzer postulieren, dass gültiges Straightlining dann auftritt, wenn (1) Teilnehmende motiviert sind, Fragen und Antworten gewissenhaft durchzulesen und ehrlich zu beantworten und (2) daraus identische Angaben zu einer Reihe von Fragen resultieren.

In einer Reihe von Simulationen untersuchen die Autoren die Einflüsse von Validität und Reliabilität auf das Aufkommen von gültigen Straightlinern, sowie deren Auswirkung auf Auswertungen, speziell bei Regressionsanalysen.
Sie stellen fest, dass die Menge an gültigen Straightlinern mit der Validität und Reliabilität des Fragebogens und somit mit der Datenqualität steigt. Zudem ergeben Ihre Simulationen, dass das Entfernen von gültigen Straightlinern zu einer Art «Sample Selection Bias» (Stichprobenverzerrung) führt und somit die Ergebnisse von Analysen verfälscht.

Was bedeuten diese Findings nun für Ihre Umfrage und den Umgang mit Straightlinern? Grundsätzlich lassen sich aus dem Artikel zwei Hinweise für die Fragebogengestaltung und Datensatzbereinigung ableiten:

  1. Fragebogengestaltung: Bauen Sie nach Möglichkeit umgekehrt gerichtete Items in Ihre Tabellenfragen ein. Reuning und Plutzers Simulationen ergeben, dass bereits das Integrieren einer einzigen umgekehrt gerichteten Frage in eine Itembatterie bis zu 98% der gültigen Straightliner entfernt. Einzig bei Skalen mit einer Mittelkategorie, bei der eine grosse Menge der Teilnehmenden Ihre Einschätzung im Skalenmittelpunkt abgeben, büsst der Ausschluss von gültigen Straightlinern durch ein umgekehrt gerichtetes Item an Effektivität ein.
  2. Datensatzbereinigung: Das Entfernen von sämtlichen Straightlinern kann zu Stichprobenverzerrung führen. Daher sollte bei der Datensatzbereinigung überprüft werden, ob bei den betroffenen Skalen und Itembatterien ein gültiges Straightlining denkbar wäre. Zudem können weitere Kriterien (wie beispielsweise die Bearbeitungszeit der betroffenen Frage, sowie das Antwortverhalten bei ähnlichen Fragen) Hinweise darauf liefern, ob ein Straightliner durch gewissenhaftes Beantworten oder verschmutzendes Verhalten entstanden ist.

Unterstützung

Sie sind sich unsicher, ob Response Sets bei Ihrem Befragungsprojekt ein Problem darstellen oder benötigen Hilfe beim Bereinigen Ihres Datensatzes? Nehmen Sie Kontakt mit uns auf! Unsere Mitarbeiter unterstützen und beraten Sie gerne zu diesem Thema!

Literatur

Porst, Rolf (2013). Fragebogen – Ein Arbeitsbuch. Wiesbaden: Springer Fachmedien GmbH.

Jandura, Olaf (2018). «Fake Data?» in: Rössler, Patrick & Rossmann, Constanze (Hrsg.). Kumulierte Evidenzen. Seiten 207-223.

Reuning, K. & Plutzer, E. (2020). Valid vs. Invalid Straightlining: The Complex Relationship Between Straightlining and Data Quality. Survey Research Methods, 14(5), 439-459.

Teilnehmer mittels psychografischen Merkmalen vergleichbar machen

Beim Durchführen von Fragebögen wird immer ein definiertes Ziel verfolgt. Häufig geht es darum die Menschen oder ihre Meinungen besser kennen zu lernen und zu verstehen. Da aber jeder Mensch ein Individuum ist und unterschiedlichste Wertebegriffe oder Handlungsweisen pflegt, werden auch die Antworten unterschiedlich ausfallen. Es stellt sich also am Ende immer die Frage, wie man die Auswertungen kategorisieren oder die Personen dahinter in bestimmte Gruppen einteilt, um schließlich die einzelnen Gruppen von Menschen miteinander vergleichen zu können.

Ein häufiges Anwendungsfeld für solche Kategorisierungen sind Zielgruppenanalysen. Um seine Zielgruppe als Unternehmen besser kennen zu lernen, lohnt es sich mit seinen Kunden zu sprechen, herauszufinden welche Personen dahinterstecken und ihre Merkmale abzufragen. Es gibt viele verschiedene Merkmale die einen Menschen ausmachen können. Darunter sind demografische Merkmale (Alter, Geschlecht, etc.), regionale Merkmale (Wohnort, Stadttypus, etc.), verhaltensorientierte Merkmale (Preisorientierung, Mediennutzung, etc.) oder psychografische Merkmale, welche versuchen Personen nach ihren Werten, Einstellungen und Lebensstilen einzuordnen.

Um diese psychografischen Merkmale von Menschen in unterschiedliche Gruppen einzuteilen, gibt es viele verschiedene Modelle und Methoden. Vier von ihnen möchte ich ihnen kurz vorstellen:

Sinus-Milieus

Das Modell der Sinus-Milieus besteht aus zwei Dimensionen. Auf der Y- Achse befindet sich die Soziale Lage (Unter-, Mittel-, und Oberschicht) und auf der X-Achse die Grundorientierung (Tradition, Modernisierung/Individualisierung und Neuorientierung). Mittels eines quantitativen Fragebogens werden die Menschen innerhalb dieses zweidimensionalen Modelles in verschiedene zusammengehörige Gruppen unterteilt. In Deutschland ergaben sich folgenden 10 Sinus-Milieus: Konservativ-Etablierte, Liberal-Intellektuelle, Performer, Expeditive, Adaptiv-Pragmatisch, Bürgerliche Mitte, Sozialökologisches Milieu, Traditionelle, Prekäre und Hedonisten. Das Modell ermöglicht also die Personen anhand der zwei Dimensionen in unterschiedliche Gruppen mit ähnlichen Werten und Grundorientierungen einzuteilen.

Semiometrie-Modell

Durch das Semiometrie-Modell werden die Einstellungen von Personen zu 14 unterschiedlichen Wertefelder gemessen. Diese Wertefelder sind namentlich: Sozial, verträumt, erlebnisorientiert, kämpferisch, traditionsverbunden, religiös, rational, kulturell, lustorientiert, kritisch, dominant, pflichtbewusst, familiär und materiell. Mittels eines Fragebogens müssen die Personen 10 Begriffe pro Wertefeld auf einer Skala von -3 bis +3 bewerten. Eine -3 bedeutet, dass der Begriff ein sehr unangenehmes Gefühl auslöst und eine +3 ein sehr angenehmes Gefühl. Anhand dieser Punkte wird für jedes Wertefeld einen Score berechnet und die Personen können so charakterisiert und zu Gruppen zusammengefasst werden.

Roper-Consumer Styles

Der Roper-Consumer Styles oder kurz RCS liegt einem ähnlichen Konzept wie das Semiometrie-Modell zu Grunde. Ebenfalls wird die Einstellung oder die Akzeptanz von Personen zu Begriffen und Aussagen abgefragt. Die Ergebnisse werden anschließend auf einer Strukturkarte festgehalten, auf welcher die Seiten jeweils unterschiedliche Bedürfnisse darstellen. Auf der X-Achse befindet sich ein Verlauf von leidenschaftlich leben zu Frieden und Sicherheit und auf der Y-Achse ein Verlauf von Sein zu Haben. Durch die unterschiedliche Positionierung auf der Strukturkarte können die Personen in verschiedene Gruppen eingeteilt werden. Der RCS unterscheidet dabei folgende Gruppen: Träumer, Häusliche, Bodenständige, Abenteurer, Realisten, Weltoffene, Kritische und Anspruchsvolle.

Limbic-Map

Auch die Limpic- Map arbeitet mit Begriffen, Werten und Emotionen. Sie basiert auf der Funktionsweise des menschlichen Gehirns. Dabei kann das Gehirn in drei grundlegende Richtungen, Emotionen einordnen: Stimulanz, Dominanz und Balance. In einem Kreis werden die Räume zwischen diesen drei Richtungen in Abenteuer und Thrill, Disziplin und Kontrolle sowie Fantasie und Genuss eingeteilt. Anschließend werden wieder die Gruppen durch Ihre Positionierung auf dem Kreis eingeteilt. Die sogenannten Limbic Types sind folgende: Harmoniser, Offene, Hedonisten, Abenteurer, Performer, Disziplinierte und Traditionalisten.

Schlussendlich haben alle vier Modelle den gleichen Ansatz und sie versuchen Menschen in Gruppen einzuteilen um diese miteinander vergleichen zu können. Sie schaffen somit eine Grundlage für intensivere Clusteranalysen oder andere statistische Auswertungen. Eine weitere Gemeinsamkeit ist, die problemlose Umsetzung aller vier Modelle über unser Tool. Falls also auch Sie eine Zielgruppenanalyse planen, würden wir uns freuen sie an Board von onlineumfragen.com Begrüssen zu dürfen.

Pfade in langen Fragebögen schneller Testen mit gruppenspezifischen Pfaden

Wenn Sie öfters mit langen Fragebögen und komplexen Pfaden zu tun haben, kennen Sie dieses Szenario bestimmt:

Sie klicken sich durch den halben Fragebogen um zu den Fragen zu gelangen, bei denen Sie die Pfade hinterlegt haben. Leider funktioniert etwas noch nicht wie gewünscht. Sie nehmen die entsprechenden Änderungen im Admin-Bereich vor, und schon geht es wieder los: Gefühlte 100 Klicks sind notwendig, bis Sie im live-Fragebogen wieder an der richtigen Stelle sind um den anpepassten Pfad zu testen.

Gerade bei komplexen Pfadlogiken, wo häufig erst mehrere Versuche zur richtigen Programmierung führen, ist das ständige «Durchklicken» durch den live-Fragebogen sehr mühsam.

Wenn Sie oben genannte Situation nur zu gut kennen, dann haben wir gute Neuigkeiten für Sie. Es gibt einen Trick, der Ihnen das Programmieren und Testen von Pfaden in langen Fragebögen stark erleichtert: Verwenden Sie gruppenspezifische Pfade! Eine unserer Kundinnen hat uns auf diese Verwendung von gruppenspezifischen Pfaden aufmerksam gemacht, und wir wollten Ihnen diesen Tipp nicht vorenthalten.

Das Konzept ist einfach: Anstatt sich ständig durch den gesamten Fragebogen zu quälen, um zu einem spezifischen Punkt zu gelangen, erstellen Sie einen gruppenspezifischen Pfad, der alle für den Pfadtest irrelevanten Fragen des Fragebogens ausblendet.

 

Wie genau Sie beim erstellen des gruppenspezifischen Pfads für einen Pfadtest vorgehen sollten, illustrieren wir Ihnen anhand des folgenden Beispiels:

Wir möchten für einen Fragebogen mit insgesamt 70 Fragen die Pfade einrichten und anschliessend auch direkt testen. Pfadlogiken gibt es in den Fragen 15 (Ein-/Ausblenden der Fragen 16-21), 32 (Ein-/Ausblenden der Fragen 33-40) und 61 (Ein-/Ausblenden der Fragen 62-70). 

In einem ersten Schritt erstellen wir den gruppenspezifischen Pfad. Dafür klicken wir im Menübereich «Fragebogen» unter «Erweiterte Optionen» -> «Pfade (Fragen ein-/ausblenden)» auf den Link «[Initialpfad ändern / teilnehmerspezifische Pfade / Zeitsteuerung ändern]» und wählen anschliessend die Option «gruppenspezifische Pfade hier hinterlegen» an.

 

 

Nun geben wir dem gruppenspezifischen Pfad einen Namen (welchen wir später beim Erfassen der Testadressen in die Spalte «Notiz» eintragen werden), z.B. «Pfadtest», und fügen im rechten Feld den Initialpfad für die Fragen ein, die für den Pfadtest relevant sind. In oben genanntem Beispiel sind das die Fragen 15-21, 32-40 und 61-70.

 

Sie möchten Ihr Wissen zu Initialpfaden auffrischen?
Dann ist unser  Quickstart «Initialpfade» genau das Richtige für Sie.

 

 

Anschliessend klicken wir im Kasten «Initialpfad» auf die Option «Initialpfad aktiv: Teilnehmer sieht nur ganz bestimmte Fragen (absolute Fragenummern, siehe Hinweis roter Kasten unten).» und speichern unsere Einstellungen über einen Klick auf den grünen Button «Jetzt speichern!».

 

 

 

Fast geschafft! Damit wir nun auch vom gruppenspezifischen Pfad für unsere Pfadtests profitieren können, brauchen wir nur noch im Menübereich «Teilnehmer» unter «2. Schritt» -> «erfassen, ändern, löschen, sehen» die gewünschte Anzahl Test-Adressen zu erfassen und jeweils in der Spalte «Notiz» die Gruppenbezeichnung des eingestellten gruppenspezifischen Pfads einzufügen, in diesem Fall also «Pfadtest».

Wenn wir uns nun die Testlinks im Menübereich «Teilnehmer» unter «Einladungs-Mails versenden (Menü)» zusenden und den entsprechenden Link zum Testen unserer Pfade verwenden, werden uns nur noch die Fragen angezeigt, die für den Pfadtest relevant sind. Das ständige Durchklicken ist Vergangenheit!

 

Achtung!
Bitte beachten Sie, dass gruppenspezifische Pfade bei offenen und halb-offenen Umfragen nur funktionieren, wenn die Teilnehmerverfolgung eingeschaltet ist (Haken).

 

 

 

Wir hoffen, dass Ihnen dieser Tipp bei der Arbeit mit langen Fragebögen weiterhelfen wird. Falls Sie noch weitere Fragen zu den Pfaden haben oder Hilfe benötigen, zögern Sie nicht, uns zu kontaktieren. Wir unterstützen Sie gerne beim Erfassen Ihres Fragebogens!

Pflichtfragen: Ja oder nein?

Zwingen oder nicht zwingen – Das ist hier die Frage!  Pflichtfragen erscheinen auf den ersten Blick als attraktives Mittel um von allen Teilnehmern möglichst komplette Antwortsets zu erhalten, welches in Online-Umfragen kinderleicht umzusetzen ist. Jedoch warnt die sozialwissenschaftliche Literatur vor unüberlegtem und häufigem Gebrauch dieses Fragetyps – zu Recht wie folgende zwei Studien zeigen.

 


Kurzzusammenfassung: Pflichtfragen

Vorteile Nachteile
  • Vollständige Daten (tiefe Item-Nonresponse; d.h. wenig unvollständig ausgefüllte oder übersprungene Fragen)
  • Höhere Abbruchrate (Verlust von Antworten bei den nachfolgenden Fragen)
  • Maximierung des schlechten Abbruch, d.h. eliminiert wenig motivierte Teilnehmer u.ä. (Personen die Fragen nicht genau lesen, etc.) und erhöht somit die Datenqualität.
  • Niedrigere Datenqualität (Lügen, Zufällige Auswahlen, Auswahl nach sozialer Akzeptanz)
  • Früherer Abbruch (Weniger Antworten bei allen nachfolgenden Fragen)
Unsere Empfehlung:
  • Pflichtfragen generell eher restriktiv einsetzen.
  • Vor dem Einsatz von Pflichtfragen jeweils Vorteile (z.B. Informationsgehalt der Frage) und Nachteile (z.B. Höhere Abbruchrate, d.h. die nachfolgenden Fragen werden weniger oft beantwortet) abwägen.
  • Wenn Pflichtfragen verwendet werden unbedingt Antwortoptionen wie «Keine Angabe» , «keine Antwort», «weiss nicht» o.ä. zur Verfügung stellen

 

Stefan Stieger, Ulf Dietrich Reips, Martin Voracek. Forced-Response in Online Surveys: Bias from Reactance and Increase in Sex-Specific Dropout. Journal of the American society for information science and technology. 58(11): 1653-1660. 2007.

Zusammenfassung. Stefan Stieger, Ulf Dietrich Reips und Martin Voracek führten im Jahr 2007 an der Universität Wien eine Studie zum Thema Pflichtfragen durch. Anhand von Daten, die sie aus einer Befragung zum Thema Eifersucht und Treue in einer Beziehung gewannen, untersuchten Sie die Auswirkungen von Pflichtfragen (sogenannter forced-response) auf die Abbruchrate und dass Antwortverhalten der 4’409 teilnehmenden Studenten. Die Analysen zeigten, dass rund 18% der Befragten mindestens einmal versucht hatten eine Frage zu überspringen. Dies war jedoch nicht möglich, da der Fragebogen aus Pflichtfragen bestand. Als Reaktion auf diese Umstände brachen rund 42% die Befragung direkt nach dem ersten missglückten Sprungversuch ab. Ausserdem wichen die Antworten der Befragten, die die Frage nach dem Versuch sie zu überspringen gezwungenermassen beantworteten, zunehmend von den von ihnen erwarteten Antworten ab. Die Befragten reagierten also auf den erfolglosen Sprungversuch, indem sie die Frage durch eine zufällige Auswahl beantworteten. Das Einführen von Pflichtfragen hatte also in diesem Fall nicht nur eine höhere Abbruchrate zur Folge, sondern führte auch dazu, dass die Datenqualität durch zufällige (und somit nicht ehrliche) Antworten verringert wurde.

Fragestellung Mit dem Ziel, festzustellen welche Auswirkungen Pflichtfragen auf die Abbruchrate und das Antwortverhalten von Befragten haben, wurden 18‘525 Studenten per E-Mail eingeladen an einer Online-Befragung zum Thema Eifersucht und Treue in einer Beziehung teilzunehmen. Der Hyperlink zur Umfrage wurde direkt in den E-Mailtext eingebunden.

Methodik. Der Online-Fragebogen wurde so programmiert, dass er nur aus Pflichtfragen bestand. Versuchte ein Teilnehmer eine Frage zu überspringen, wurde er mit einer Fehlermeldung gebeten, die Frage auszufüllen. Teilnehmenden, die den Fragebogen ausfüllten ohne eine Frage überspringen zu wollen, war zu keinem Zeitpunkt bewusst, dass es sich um Pflichtfragen handelte. So ergaben sich zwei Teilnehmergruppen: Die „non-forced-response Gruppe“, die alle Befragte beinhaltet, die niemals versuchten eine Frage zu überspringen und die „forced-response Gruppe“ mit den Befragten, die einen Sprung versuchten.

Teilnahme. Die Geschlechter waren unter den Teilnehmenden etwa gleichmässig verteilt (Frauen 50.4%, Männer 49.6%). Studenten der Sozialwissenschaften waren mit 40.6% überrepräsentiert. Der Fragebogen wurde 4‘905-Mal aufgerufen. Fälle von Gender-Switching und Mehrfachteilnahmen wurden ausgeschlossen. Somit wurden 4‘409 Fälle in die Analyse miteinbezogen (Responserate: 23.8%).

Ergebnisse. Insgesamt versuchten 803 von 4‘409 Befragten mindestens einmal eine Frage zu überspringen (18.3%) und produzierten damit 863 Fehlermeldungen. 13.7% der Befragten (n=602) versuchten bereits die zweite Frage (demografische Angaben) zu überspringen. Von den 803 Befragten, die eine Frage überspringen wollten, brachen 41.9% (n=394) den Fragebogen nach der ersten Fehlermeldung ab (d.h. Abbruch nach dem ersten Überspring-Versuch). 35.8% der Befragten (n=288) die eine Frage überspringen wollten, füllten den Fragebogen bis zum Schluss aus. Die „natürliche“-Abbruchrate (d.h. Anzahl Abbrüche der Personen, die nie eine Frage überspringen wollten und so auch nicht wussten, dass es sich um Pflichtfragen handelt) betrug 18.6%. Eine Cox Regression wies einen signifikanten Zusammenhang zwischen Pflichtfragen und Abbruch (+1.459 mit einem p-Wert von <0.001) und Abbruch und Geschlecht (+0.383 mit p<0.001; Männer brechen mit 1.78-Mal (non-forced-response Gruppe) resp. 1.33-Mal (forced-response Gruppe) grösserer Wahrscheinlichkeit ab).

Reaktanz. Reaktanz wurde im Zusammenhang mit der Umfrage als Antwortverhalten definiert, dass vom erwarteten Verhalten (ermittelt durch vergleichbare Fälle) abweicht. Die Studie zeigte, dass auf Fragen, die man zu überspringen versuchte, mehrheitlich mit einer zufälligen Antwortauswahl reagiert wurde. Dieser Reaktanz-Effekt war am stärksten bei der Frage, die übersprungen werden sollte und nahm mit jeder nächsten Frage ab.

Fazit. Pflichtfragen erhöhen die Abbruchrate und führen durch eventuelle Zufallsauswahlen zu einer tieferen Datenqualität. Jedoch ist es wichtig den „Guten“ vom „schlechten“ Abbruch zu unterscheiden. Der gute Abbruch beinhaltet Interviews, deren Antworten aufgrund tiefer Motivation oder anderen Faktoren die Datenqualität verringern würde. Der schlechte Abbruch dagegen beinhaltet Interviews die wertvolle Daten geliefert hätten, jedoch aufgrund nicht ansprechendem Design, Programmierungsfehler oder ähnlichem abgebrochen wurden. Die Autoren argumentieren, dass Pflichtfragen helfen den schlechten Abbruch zu maximieren, da eine motivierte Person sich mit hoher Wahrscheinlichkeit von Pflichtfragen stören lässt. Dennoch empfehlen die Autoren Pflichtfragen nur wenn es wichtig ist vollständige Daten zu haben, ein hoher Rücklauf erwartet wird und so eine höhere Abbruchrate keine grösseren Probleme darstellt und die Geschlechterverteilung der Teilnehmer nicht ein Hauptmerkmal der Studie ist.

 

Alexandra Mergener, Philipp Sischka, Jean Philippe Décieux. To force or not to force. That is the question! – Die Auswirkungen des Einsatzes von Forced Answering-Fragen auf die Qualität der Befragungsergebnisse. Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie: Routinen der Krise – Krise der Routinen. Edition 37. 2014.

Zusammenfassung. In ihrer Studie aus dem Jahr 2014 untersuchten Alexandra Mergener, Philipp Sischka und Jean Philippe Décieux nicht nur die Auswirkungen von Pflichtfragen sondern auch inwiefern alternative Antwortoptionen wie „keine Angabe“ oder „Weiss nicht“ diese Effekte eindämmen können. Die Studie basierte auf drei Versionen desselben Fragebogens zum Thema Kriminalität: eine ohne Pflichtfragen, eine mit Pflichtfragen und eine mit Pflichtfragen und „keine Antwort“-Optionen. Aufgrund der Daten von 1056 befragten Studenten konnte kein signifikanter Unterschied in den Abbruchsquoten der jeweiligen Fragebogenversionen festgestellt werden. Allerdings zeigte sich, dass der Fragebogen häufiger abgebrochen wurde, wenn die Befragten mit langen Item-Batterien (Fragen mit vielen Auswahlmöglichkeiten) konfrontiert wurden. Ausserdem wurde bei Pflichtfragen der Fragebogen auffällig früher abgebrochen und nicht erst, wie bei der Version ohne Pflichtfragen, bei den heikleren Fragen (wie z.B. „Haben Sie schon einmal eine Straftat begangen?“). Das hinzufügen einer „keine Antwort“-Option reduzierte dieses Abbruchverhalten. Des Weiteren wurde aus den Daten ersichtlich, dass die Befragten bei heiklen Fragen, die sie nicht überspringen konnten und bei denen auch keine alternative Antwortoption („keine Antwort“, „weiss nicht“ o.ä.) zur Verfügung standen, dazu tendierten die sozial wünschenswerteste Antwort (Im Beispiel: „Nein“) zu wählen. Dies hat, wie eine zufällig ausgewählte Antwort, zur Folge, dass die Datenqualität sinkt.

Fragestellung. Pflichtfragen sind ein Tool, dass in Online-Befragungen einfach umzusetzen sind. Jedoch sind sich viele Nutzer von Online-Befragungstools nicht bewusst, dass es auch Bedenken zu dieser Vorgehensweise gibt. Die Autoren überprüften mit ihrer Studie folgende Thesen: Pflichtfragen führen zu erhöhter Unit-non-Response (d.h. Abbruch des Fragebogens, Verweigerung der Befragung), eine neutrale Antwortkategorie kann den negativen Effekt von Pflichtfragen auf Unit-Nonresponse einschränken und Pflichtfragen erhöhen die Anzahl weniger valider Antworten (wie Lügen oder zufällig gewählte Antworten).

Methodik. Es wurde ein Split-Ballot-Experiment (Eine Art der Befragung bei der die Stichprobe in Unterstichproben geteilt wird, welche dann jeweils mit verschiedenen Versionen der Befragung konfrontiert werden). Dafür wurden drei Versionen des Fragebogens erstellt: Version 1 ohne Pflichtfragen, Version 2 in der jede Frage beantwortet werden musste um weiter zu kommen und Version 3, welche auch aus Pflichtfragen bestand, jedoch die Antwortoption „Keine Angabe“ erhielt. Das Thema des Fragebogens war „Kriminalität und ihre Wahrnehmung in der Bevölkerung“. Ausserdem wurden insgesamt 350 Euro als Teilnahmeanreiz verlost.

Teilnahme.  Befragt wurden Studierende der Universität und der Hochschule Trier. Die Umfrage stand während einem Monat zur Teilnahme bereit. Es nahmen 1056 Personen teil, davon 37.3% weiblich und 62.7% männlich. Das Durchschnittsalter betrug 27 Jahre.

Ergebnisse. Die Analyse der Abbruchsquoten zeigte keine signifikanten Unterschiede zwischen der Abbruchsquote des gesamten Fragebogens und den verschiedenen Fragebogenversionen. Die Abbruchsquote befand sich in allen drei Fällen zwischen 15.6 und 17.6 Prozent. Es liess sich jedoch zeigen, dass wenig motivierte Befragte den Fragebogen eher abbrachen, wenn sie gezwungen waren sich mit langen Item-Batterien auseinander zu setzen. Ausserdem führte der Antwortzwang dazu, dass der Fragebogen signifikant früher abgebrochen wird. Eine „keine Antwort“-Option reduzierte diese Umstände signifikant.

Sozial wünschenswerte Antworten. Aus den Daten wurde ersichtlich, dass bei sensiblen Fragen (heikle, persönliche Frage. Hier am Beispiel: „Haben Sie schon einmal eine Straftat begangen?“) der Antwortzwang ohne „keine Antwort“-Option dazu führt, dass tendenziell die sozial wünschenswerte Antwort (im Beispiel: „Nein“) gewählt wird. Dies hat zur Folge, dass die Antworten weniger „ehrlich“ sind und die Qualität der Daten dadurch sinkt. Die Tendenz sozialkonform zu Antworten konnte jedoch nicht als signifikanter kausaler Effekt identifiziert werden.

Fazit. Der Effekt von Pflichtfragen auf die Datenqualität und die Ergebnisse ist eher negativ einzuschätzen. Die Autoren raten deshalb Pflichtfragen nur restriktiv zu verwenden und allenfalls eine „Keine Antwort“-Option anzubieten. So verhindert man auch, dass die Befragten bei heiklen Pflichtfragen dazu tendieren, die sozial wünschenswerteste Antwort zu wählen.

Erläuterung/Fussnote einfügen

Sie möchten ihrer Frage noch eine Erläuterung oder Fussnote hinzufügen, die unterhalb des «Nächste Frage» (Weiter)-Buttons erscheint? Dies ist mit dem Code %SUB _____ SUB% in wenigen Schritten bei allen Fragetypen ganz einfach möglich:

  1. Wählen Sie im Menubereich «Fragebogen» bei der Frage, die einer Erläuterung bedarf, auf «ändern».
  2. Im Textfeld zur Fragestellung können Sie nun mit dem Code %SUB _______ SUB% ihre Erläuterung eintragen. Falls Sie diese noch mit einer hochgestellten Zahl versehen möchten um sie zuweisen zu können, können Sie dies mit %HOCHxHOCH% tun (x steht als Platzhalter für jede beliebige Zahl oder jeden beliebigen Buchstaben).
  3. Drücken Sie auf «Änderungen vornehmen!» und speichern Sie somit Ihre Änderungen. Das war´s schon, Sie haben eine Erläuterung hinzugefügt.
    Wenn Sie nun ihren Fragebogen testen erscheint die Erläuterung unterhalb der Navigationsbuttons. Achtung: Fussnote/Erläuterung erscheint nicht in der Vorschau, die Sie sehen wenn sie auf «Änderungen vornehmen!» drücken. Sie müssen im Menubereich «Fragebogen» auf «Ganzen Fragebogen testen!» klicken um Ihre Fussnote zu prüfen.Abstand zwischen Fussnote und Navigationsbutton vergrössern
    Sie möchten den Abstand zwischen den Navigationsbuttons und der Erläuterung vergrössern. Fügen Sie einfach %LF% zu Ihrer Erläuterung hinzug (%LF% kann mehrmals verwendet werden. Ein %LF% resultiert in einer leeren Zeile Abstand zwischen Navigationsbutton und Erläuterung). Möchte ich also beispielsweise meine Erläuterung drei Zeilen nach unten verschieben verwende ich den Code
    %SUB %LF% %LF% %LF% Erläuterung SUB%

Drücken Sie auf «Änderungen vornehmen!» und wählen Sie im Menubereich «Fragebogen» die Option «Ganzen Fragebogen testen!». Nun wird Ihre Erläuterung drei Zeilen weiter unten erscheinen als zuvor:

Falls Sie noch weitere Fragen zu Erläuterungen/Fussnoten haben oder Hilfe benötigen, zögern Sie nicht uns zu kontaktieren! Wir sind gerne für Sie da und unterstützen Sie bei der Gestaltung ihres Fragebogens.