Pflichtfragen: Ja oder nein?

Zwingen oder nicht zwingen – Das ist hier die Frage!  Pflichtfragen erscheinen auf den ersten Blick als attraktives Mittel um von allen Teilnehmern möglichst komplette Antwortsets zu erhalten, welches in Online-Umfragen kinderleicht umzusetzen ist. Jedoch warnt die sozialwissenschaftliche Literatur vor unüberlegtem und häufigem Gebrauch dieses Fragetyps – zu Recht wie folgende zwei Studien zeigen.

 


Kurzzusammenfassung: Pflichtfragen

Vorteile Nachteile
  • Vollständige Daten (tiefe Item-Nonresponse; d.h. wenig unvollständig ausgefüllte oder übersprungene Fragen)
  • Höhere Abbruchrate (Verlust von Antworten bei den nachfolgenden Fragen)
  • Maximierung des schlechten Abbruch, d.h. eliminiert wenig motivierte Teilnehmer u.ä. (Personen die Fragen nicht genau lesen, etc.) und erhöht somit die Datenqualität.
  • Niedrigere Datenqualität (Lügen, Zufällige Auswahlen, Auswahl nach sozialer Akzeptanz)
  • Früherer Abbruch (Weniger Antworten bei allen nachfolgenden Fragen)
Unsere Empfehlung:
  • Pflichtfragen generell eher restriktiv einsetzen.
  • Vor dem Einsatz von Pflichtfragen jeweils Vorteile (z.B. Informationsgehalt der Frage) und Nachteile (z.B. Höhere Abbruchrate, d.h. die nachfolgenden Fragen werden weniger oft beantwortet) abwägen.
  • Wenn Pflichtfragen verwendet werden unbedingt Antwortoptionen wie «Keine Angabe» , «keine Antwort», «weiss nicht» o.ä. zur Verfügung stellen

 

Stefan Stieger, Ulf Dietrich Reips, Martin Voracek. Forced-Response in Online Surveys: Bias from Reactance and Increase in Sex-Specific Dropout. Journal of the American society for information science and technology. 58(11): 1653-1660. 2007.

Zusammenfassung. Stefan Stieger, Ulf Dietrich Reips und Martin Voracek führten im Jahr 2007 an der Universität Wien eine Studie zum Thema Pflichtfragen durch. Anhand von Daten, die sie aus einer Befragung zum Thema Eifersucht und Treue in einer Beziehung gewannen, untersuchten Sie die Auswirkungen von Pflichtfragen (sogenannter forced-response) auf die Abbruchrate und dass Antwortverhalten der 4’409 teilnehmenden Studenten. Die Analysen zeigten, dass rund 18% der Befragten mindestens einmal versucht hatten eine Frage zu überspringen. Dies war jedoch nicht möglich, da der Fragebogen aus Pflichtfragen bestand. Als Reaktion auf diese Umstände brachen rund 42% die Befragung direkt nach dem ersten missglückten Sprungversuch ab. Ausserdem wichen die Antworten der Befragten, die die Frage nach dem Versuch sie zu überspringen gezwungenermassen beantworteten, zunehmend von den von ihnen erwarteten Antworten ab. Die Befragten reagierten also auf den erfolglosen Sprungversuch, indem sie die Frage durch eine zufällige Auswahl beantworteten. Das Einführen von Pflichtfragen hatte also in diesem Fall nicht nur eine höhere Abbruchrate zur Folge, sondern führte auch dazu, dass die Datenqualität durch zufällige (und somit nicht ehrliche) Antworten verringert wurde.

Fragestellung Mit dem Ziel, festzustellen welche Auswirkungen Pflichtfragen auf die Abbruchrate und das Antwortverhalten von Befragten haben, wurden 18‘525 Studenten per E-Mail eingeladen an einer Online-Befragung zum Thema Eifersucht und Treue in einer Beziehung teilzunehmen. Der Hyperlink zur Umfrage wurde direkt in den E-Mailtext eingebunden.

Methodik. Der Online-Fragebogen wurde so programmiert, dass er nur aus Pflichtfragen bestand. Versuchte ein Teilnehmer eine Frage zu überspringen, wurde er mit einer Fehlermeldung gebeten, die Frage auszufüllen. Teilnehmenden, die den Fragebogen ausfüllten ohne eine Frage überspringen zu wollen, war zu keinem Zeitpunkt bewusst, dass es sich um Pflichtfragen handelte. So ergaben sich zwei Teilnehmergruppen: Die „non-forced-response Gruppe“, die alle Befragte beinhaltet, die niemals versuchten eine Frage zu überspringen und die „forced-response Gruppe“ mit den Befragten, die einen Sprung versuchten.

Teilnahme. Die Geschlechter waren unter den Teilnehmenden etwa gleichmässig verteilt (Frauen 50.4%, Männer 49.6%). Studenten der Sozialwissenschaften waren mit 40.6% überrepräsentiert. Der Fragebogen wurde 4‘905-Mal aufgerufen. Fälle von Gender-Switching und Mehrfachteilnahmen wurden ausgeschlossen. Somit wurden 4‘409 Fälle in die Analyse miteinbezogen (Responserate: 23.8%).

Ergebnisse. Insgesamt versuchten 803 von 4‘409 Befragten mindestens einmal eine Frage zu überspringen (18.3%) und produzierten damit 863 Fehlermeldungen. 13.7% der Befragten (n=602) versuchten bereits die zweite Frage (demografische Angaben) zu überspringen. Von den 803 Befragten, die eine Frage überspringen wollten, brachen 41.9% (n=394) den Fragebogen nach der ersten Fehlermeldung ab (d.h. Abbruch nach dem ersten Überspring-Versuch). 35.8% der Befragten (n=288) die eine Frage überspringen wollten, füllten den Fragebogen bis zum Schluss aus. Die „natürliche“-Abbruchrate (d.h. Anzahl Abbrüche der Personen, die nie eine Frage überspringen wollten und so auch nicht wussten, dass es sich um Pflichtfragen handelt) betrug 18.6%. Eine Cox Regression wies einen signifikanten Zusammenhang zwischen Pflichtfragen und Abbruch (+1.459 mit einem p-Wert von <0.001) und Abbruch und Geschlecht (+0.383 mit p<0.001; Männer brechen mit 1.78-Mal (non-forced-response Gruppe) resp. 1.33-Mal (forced-response Gruppe) grösserer Wahrscheinlichkeit ab).

Reaktanz. Reaktanz wurde im Zusammenhang mit der Umfrage als Antwortverhalten definiert, dass vom erwarteten Verhalten (ermittelt durch vergleichbare Fälle) abweicht. Die Studie zeigte, dass auf Fragen, die man zu überspringen versuchte, mehrheitlich mit einer zufälligen Antwortauswahl reagiert wurde. Dieser Reaktanz-Effekt war am stärksten bei der Frage, die übersprungen werden sollte und nahm mit jeder nächsten Frage ab.

Fazit. Pflichtfragen erhöhen die Abbruchrate und führen durch eventuelle Zufallsauswahlen zu einer tieferen Datenqualität. Jedoch ist es wichtig den „Guten“ vom „schlechten“ Abbruch zu unterscheiden. Der gute Abbruch beinhaltet Interviews, deren Antworten aufgrund tiefer Motivation oder anderen Faktoren die Datenqualität verringern würde. Der schlechte Abbruch dagegen beinhaltet Interviews die wertvolle Daten geliefert hätten, jedoch aufgrund nicht ansprechendem Design, Programmierungsfehler oder ähnlichem abgebrochen wurden. Die Autoren argumentieren, dass Pflichtfragen helfen den schlechten Abbruch zu maximieren, da eine motivierte Person sich mit hoher Wahrscheinlichkeit von Pflichtfragen stören lässt. Dennoch empfehlen die Autoren Pflichtfragen nur wenn es wichtig ist vollständige Daten zu haben, ein hoher Rücklauf erwartet wird und so eine höhere Abbruchrate keine grösseren Probleme darstellt und die Geschlechterverteilung der Teilnehmer nicht ein Hauptmerkmal der Studie ist.

 

Alexandra Mergener, Philipp Sischka, Jean Philippe Décieux. To force or not to force. That is the question! – Die Auswirkungen des Einsatzes von Forced Answering-Fragen auf die Qualität der Befragungsergebnisse. Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie: Routinen der Krise – Krise der Routinen. Edition 37. 2014.

Zusammenfassung. In ihrer Studie aus dem Jahr 2014 untersuchten Alexandra Mergener, Philipp Sischka und Jean Philippe Décieux nicht nur die Auswirkungen von Pflichtfragen sondern auch inwiefern alternative Antwortoptionen wie „keine Angabe“ oder „Weiss nicht“ diese Effekte eindämmen können. Die Studie basierte auf drei Versionen desselben Fragebogens zum Thema Kriminalität: eine ohne Pflichtfragen, eine mit Pflichtfragen und eine mit Pflichtfragen und „keine Antwort“-Optionen. Aufgrund der Daten von 1056 befragten Studenten konnte kein signifikanter Unterschied in den Abbruchsquoten der jeweiligen Fragebogenversionen festgestellt werden. Allerdings zeigte sich, dass der Fragebogen häufiger abgebrochen wurde, wenn die Befragten mit langen Item-Batterien (Fragen mit vielen Auswahlmöglichkeiten) konfrontiert wurden. Ausserdem wurde bei Pflichtfragen der Fragebogen auffällig früher abgebrochen und nicht erst, wie bei der Version ohne Pflichtfragen, bei den heikleren Fragen (wie z.B. „Haben Sie schon einmal eine Straftat begangen?“). Das hinzufügen einer „keine Antwort“-Option reduzierte dieses Abbruchverhalten. Des Weiteren wurde aus den Daten ersichtlich, dass die Befragten bei heiklen Fragen, die sie nicht überspringen konnten und bei denen auch keine alternative Antwortoption („keine Antwort“, „weiss nicht“ o.ä.) zur Verfügung standen, dazu tendierten die sozial wünschenswerteste Antwort (Im Beispiel: „Nein“) zu wählen. Dies hat, wie eine zufällig ausgewählte Antwort, zur Folge, dass die Datenqualität sinkt.

Fragestellung. Pflichtfragen sind ein Tool, dass in Online-Befragungen einfach umzusetzen sind. Jedoch sind sich viele Nutzer von Online-Befragungstools nicht bewusst, dass es auch Bedenken zu dieser Vorgehensweise gibt. Die Autoren überprüften mit ihrer Studie folgende Thesen: Pflichtfragen führen zu erhöhter Unit-non-Response (d.h. Abbruch des Fragebogens, Verweigerung der Befragung), eine neutrale Antwortkategorie kann den negativen Effekt von Pflichtfragen auf Unit-Nonresponse einschränken und Pflichtfragen erhöhen die Anzahl weniger valider Antworten (wie Lügen oder zufällig gewählte Antworten).

Methodik. Es wurde ein Split-Ballot-Experiment (Eine Art der Befragung bei der die Stichprobe in Unterstichproben geteilt wird, welche dann jeweils mit verschiedenen Versionen der Befragung konfrontiert werden). Dafür wurden drei Versionen des Fragebogens erstellt: Version 1 ohne Pflichtfragen, Version 2 in der jede Frage beantwortet werden musste um weiter zu kommen und Version 3, welche auch aus Pflichtfragen bestand, jedoch die Antwortoption „Keine Angabe“ erhielt. Das Thema des Fragebogens war „Kriminalität und ihre Wahrnehmung in der Bevölkerung“. Ausserdem wurden insgesamt 350 Euro als Teilnahmeanreiz verlost.

Teilnahme.  Befragt wurden Studierende der Universität und der Hochschule Trier. Die Umfrage stand während einem Monat zur Teilnahme bereit. Es nahmen 1056 Personen teil, davon 37.3% weiblich und 62.7% männlich. Das Durchschnittsalter betrug 27 Jahre.

Ergebnisse. Die Analyse der Abbruchsquoten zeigte keine signifikanten Unterschiede zwischen der Abbruchsquote des gesamten Fragebogens und den verschiedenen Fragebogenversionen. Die Abbruchsquote befand sich in allen drei Fällen zwischen 15.6 und 17.6 Prozent. Es liess sich jedoch zeigen, dass wenig motivierte Befragte den Fragebogen eher abbrachen, wenn sie gezwungen waren sich mit langen Item-Batterien auseinander zu setzen. Ausserdem führte der Antwortzwang dazu, dass der Fragebogen signifikant früher abgebrochen wird. Eine „keine Antwort“-Option reduzierte diese Umstände signifikant.

Sozial wünschenswerte Antworten. Aus den Daten wurde ersichtlich, dass bei sensiblen Fragen (heikle, persönliche Frage. Hier am Beispiel: „Haben Sie schon einmal eine Straftat begangen?“) der Antwortzwang ohne „keine Antwort“-Option dazu führt, dass tendenziell die sozial wünschenswerte Antwort (im Beispiel: „Nein“) gewählt wird. Dies hat zur Folge, dass die Antworten weniger „ehrlich“ sind und die Qualität der Daten dadurch sinkt. Die Tendenz sozialkonform zu Antworten konnte jedoch nicht als signifikanter kausaler Effekt identifiziert werden.

Fazit. Der Effekt von Pflichtfragen auf die Datenqualität und die Ergebnisse ist eher negativ einzuschätzen. Die Autoren raten deshalb Pflichtfragen nur restriktiv zu verwenden und allenfalls eine „Keine Antwort“-Option anzubieten. So verhindert man auch, dass die Befragten bei heiklen Pflichtfragen dazu tendieren, die sozial wünschenswerteste Antwort zu wählen.

Text im Footer einfügen (zusätzlich zu einem Footerbild)

Sie haben Ihr Logo als Footerbild definiert, möchten zusätzlich aber noch einen Text in den Footer integrieren oder einen Link zu Ihren AGB´s platzieren? Dann können Sie mit dem Code %FOOTERTEXT% arbeiten. Gehen Sie dafür folgendermassen vor:

1. Ausgangspunkt ist Ihre Umfrage mit einem einfachen Footer-Logo, welches z.B. unten rechts platziert ist.

 

2. Gehen Sie nun im Menubereich „Fragebogen“ bei der gewünschten Frage, bei welchem Sie den zusätzlichen Textfooter einrichten möchten, auf „ändern“. Geben Sie nun im Textfeld für die Fragestellung den folgenden Code ein:

%FOOTERTEXT Hier kommt nun Ihr gewünschter Text FOOTERTEXT%

 

Wiederholen Sie diesen Vorgang für jede Frage, in welchem der Footertext erscheinen soll. Wenn Sie dann Ihren Fragebogen testen, erscheint folgendes Bild:

 

 

Sie sehen nun, dass der eingegebene Text im Footer erscheint. Allerdings ist dieser noch nicht wirklich schön in der Umfrage positioniert. Um dies anzupassen, können Sie unter „Aussehen/Eigenes Logo“ –> „CSS-Definitionen“ die Positionierung und Gestaltung des Textes anpassen.

 

Wenn Sie Ihre gewünschte Formatierung erstellt haben und den Fragebogen erneut testen, sieht Ihr Fragebogen folgendermassen aus:

 

Sie können hier anstelle eines normalen Textes nun z.B. auch eine Verlinkung auf eine Website einfügen, indem Sie mit dem Code %LINK% arbeiten. Folgendes Beispiel zeigt, wie Sie in einem solche Fall vorgehen können:

 

Live sieht dies dann folgendermassen aus:

 

Falls Sie Hilfe bei der Gestaltung Ihres Footers benötigen, können Sie uns natürlich auch gerne jederzeit kontaktieren. Wir helfen Ihnen bei Ihren Wünschen gerne weiter und unterstützen Sie so gut wie möglich.

SMS-Versand bei offenen Umfragen

Sie können bei offenen Umfragen auch die Einladungen per SMS versenden. Dies ist sehr einfach. Erfassen Sie einfach statt E-Mail-Adressen Ihrer Teilnehmenden deren Mobilnummern. Dabei ist folgendes Format notwendig und strikt einzuhalten:

00491761234567@sms.onlineumfragen.com
(d.h. immer zuerst 00, dann die Landesvorwahl (49=Deutschland, 41=Schweiz, 43=Österreich) und dann die Mobilnummer ohne führende 0, also z.B. in Deutschland 179…. oder in der Schweiz oft 79…..)

Als Gruppe verwenden Sie z.B. SMS, damit Sie für den Versand der SMS einen anderen (viel kürzeren) Einladungstext verwenden können, wenn Sie gleichzeitig auch E-Mail-Adressen erfasst haben und die Versandmethode mischen möchten.

Das sieht dann so aus:

2017-04-06_09-22-36

 

Danach können Sie die Einladungsmail (hier SMS-Text) erfassen unter „Teilnehmer > 3. Schritt: Einladungs-Mail für Teilnehmer verfassen“.

2017-04-06_09-21-49

Den Mail-Betreff können Sie hier ignorieren oder etwas Irrelevantes eingeben.

Wichtig: der Link muss beim SMS-Versand manuell in den Text eingebracht werden (siehe Beispiel oben). Daher den Link unbedingt vorher testen! Dies ist so gelöst, weil bei SMS-Einladungen oftmals Shortlinks oder andere Links (z.B. auf eine Kundenwebsite mit Infos zur Kampagne, wo wo aus man dann die Umrage erst anklicken kann) verwendet werden, als bei E-Mail-Einladungen.

 

Dann können alle erfassten SMS-Adressen versendet werden, unter „Teilnehmer > 4. Schritt: Einladungs-Mails versenden“:

Dabei ggf. die Gruppe „SMS“ auswählen Teilnehmerverfolgung ausschalten, also Haken entfernen!

2017-04-06_09-55-58

Danach auf „Jetzt versenden!“ klicken. Voilà.

Sie benötigen für den Versand von SMS ein SMS-Paket, dieses kostet pro 1000 SMS eine Charge von 100 Euro (das sind 10 Cent pro SMS). Sie können dieses Paket (odere mehrere, je nach dem von Ihnen benötigten Volumen) bei uns via info@onlineumfragen.com bestellen.

 

Sortierfrage auf Basis Vorfrage Multiple-Choice erstellen

Ab und zu wird folgende Konstruktion benötigt:

in einer Single- oder Multiple-Choice-Frage werden Antworten ausgewählt. Die ausgewählten Antworten sollen dann in der nächsten Frage wieder angezeigt (nur die ausgewählten) und vom Teilnehmenden sortiert werden können, d.h. in einer Reihenfolge gebracht werden.

Dazu legen Sie zuerst die beiden Fragen an:

1. Als Single-/Multiple-Choice:

2016-11-07_02-40-56

2. Als Sortierfrage/Rangfolge:

2016-11-07_02-41-16

Hier sehen Sie noch das Spezialkommando %TEXTANTWORT3223754%. Dieses zeigt den allenfalls bei der ersten Frage eingegebenen Freitext ein (z.B. im leeren Textfeld bei „Anderes“). Die Frage-ID für die %TEXTANTWORT3223754%-Anweisung finden Sie unter „Auswertung > Item-Beschreibung (=Variablen-Spiegel/Codebook, Legende der Codierung)“ und dort ganz unten auf der Seite:

2016-11-07_02-41-42

Dann richten Sie unter „Fragebogen > Filterrow“ eine Filterrow-Logik für die Sortierfrage ein, die sich auf die erste Frage bezieht. Dies ist sehr simpel.

2016-11-07_02-42-35

 

Voilà.

Das sieht dann LIVE so aus:

2016-11-07_02-40-24

2016-11-07_02-40-35

Hinweis: Um die Frage 2 allenfalls komplett zu überspringen, wenn bei Frage 1 nichts ausgewählt wird, setzen Sie am besten einen Sprung bei Frage 1 oder Pfade ein.

Bild verlinken

Ihre Anforderung:

Bei Klick auf ein Bild soll eine Webseite geöffnet werden.

Sie müssen also das Bild mit einer Webseite verlinken. Und das geht so:
1. Laden Sie Ihr Bild unter „Fragebogen“ > „Bilder, Sound/Video, PDF“ hoch.
2. Gehen Sie zur gewünschten Frage/Seite, wo das verlinkte Bild erscheinen soll und tragen Sie folgenden Text ein:

%LINK%Webseite%%BILD%Bildname%%

Ein Beispiel: Ihr Bild haben Sie „twittervogeli.jpg“ genannt. Die zu verlinkende Webseite heisst „https://twitter.com“. Der Link sieht also wie folgt aus:

%LINK%https://twitter.com%%BILD%twittervogeli.jpg%%

et voilà:

 

05-02-_2016_17-54-52

Umfragen löschen resp. ausblenden

Eine Umfrage kann unter „Fragebogen“ ganz einfach auf „beendet“ gestellt werden, wenn diese nicht mehr benötigt wird. Der Fragebogen und auch die Ergebnisse werden dann automatisch nach 180 Tagen gelöscht. Wir empfehlen, dass Sie sich diese „Gnadenfrist“ sozusagen einräumen, da es oft vorkommt, dass eine gelöschte Umfrage doch noch – wider Erwarten – benötigt wird.

11-02-2014 11-59-34

 

Sie können die Umfrage also auf „beendet“ stellen (dann wird sie automatisch vom System nach 180 Tagen gelöscht).

Damit die Umfrage in der „Übersicht“ nicht mehr stört resp. „herumliegt“, können Sie die Umfrage mit Klick auf den kleinen Abwärtspfeil nach dem Umfragenamen in einen Ordner „— ausgeblendete Umfragen —“ verschieben. Dort liegt die Umfrage dann noch 180 Tage, bis sie effektiv gelöscht ist und gänzlich verschwindet. Der Ordner wird standardmässig zusammengeklappt gezeigt, d.h. „stört“ nicht mehr in der Übersicht der Umfragen.

11-02-2014 11-55-06

11-02-2014 11-55-30

Die Umfrage ist dann ausgeblendet resp. im Ordner abgelegt und stört nicht mehr.

 

 

Popup / Zweites Fenster ohne Browser-Navigation verhindern

Umfragen können je nach verwendetem Betriebssystem und Software, in der der Link zur Umfrage geöffnet resp. angeklickt wird, durch das System geblockt werden. Dies passiert zwar nur sehr, sehr selten und auf wenigen Geräten und exotischen Konstellationen (z.B. bei bestimmten HTML-Links bei alten Internet Explorer mit eingeschalteter Popup-Blocker-Software, wenn ein Link aus Loutus Notes geöffnet wird), wird aber von unserem System automatisch abgefangen und die Umfrage öffnet sich dann trotzdem. Die dahinter liegende aufwändige Technik in unserer WebSite führt aber dazu, dass ebenso bei bestimmten Konstalltionen ein zweites Fenster mit der Umfrage quasi doppelt geöffnet wird (Umfrage im Browserfenster und nochmals die selbe Umfrage in einem zusätzlichen Browserfenster, v.a. bei IE6). Das zusätzliche Fenster hat dann bei IE6 und teilweise bei IE7 kein Browsermenü mehr und in die Adresszeile kann nicht mehr manuell geschrieben werden, auch die Zurück- und Vor-Buttons des Browsers fehlen.

Im System kann um dies zu verhindern, unter „Fragebogen > Aussehen / Eigenes Logo“ die folgende Option angehakt werden:

Damit ist das Problem behoben und es werden keine zusätzlichen Fenster geöffnet. Das bestehende normale Browserfenster wird somit verwendet, dieses enthält auch alle Browser-Funktionen, -buttons  und -menüs.

Plausibilitätstest für angelsächsisches Datumsformat yyyy-mm-dd

Unter „Fragebogen > Plausibilität“ finden Sie einen fertig eingerichteten Plausibilitätstest für das deutsche Datumsformat dd.mm.yyyy. Um einen Plausibilitätstest für ein Textfeld (oder ein Feld in einer Adressfrage) auf ein abweichendes Datumsformat, z.B. auf das amerikanische oder englische Datumsformat, zu erfassen, verwenden Sie einfach den Test „Regular Expression“. Dies sind sehr leistungsfähige „Masken“ mit vielen standardisierten Funktionen, die eine Zeichenkette prüfen und entsprechend authorisieren oder nicht.

Für das amerikanische Datumsformat yyyy-mm-dd verwenden Sie folgende Regular Expression:

^(19|20)\d\d[- /.](0[1-9]|1[012])[- /.](0[1-9]|[12][0-9]|3[01])$

Wie im Bild kann diese einfach mit Copy/Paste eingegeben werden.

 

 

Weitere Infos und zahlreiche Beispiele zu Regular Expressions finden Sie unter http://www.regular-expressions.info/ – Haben Sie selbst eine spannende Regular Expression für Ihre Plausibilitätstest herausgefunden? Fügen Sie diese doch als Kommentar diesem Artikel bei.