onlineumfragen.com Experten-Blog http://blog.onlineumfragen.com

Zwingen oder nicht zwingen – Das ist hier die Frage!  Pflichtfragen erscheinen auf den ersten Blick als attraktives Mittel um von allen Teilnehmern möglichst komplette Antwortsets zu erhalten, welches in Online-Umfragen kinderleicht umzusetzen ist. Jedoch warnt die sozialwissenschaftliche Literatur vor unüberlegtem und häufigem Gebrauch dieses Fragetyps – zu Recht wie folgende zwei Studien zeigen.

Kurzzusammenfassung: Pflichtfragen

Unsere Empfehlung:

• Pflichtfragen generell eher restriktiv einsetzen.
• Vor dem Einsatz von Pflichtfragen jeweils Vorteile (z.B. Informationsgehalt der Frage) und Nachteile (z.B. Höhere Abbruchrate, d.h. die nachfolgenden Fragen werden weniger oft beantwortet) abwägen.
• Wenn Pflichtfragen verwendet werden unbedingt Antwortoptionen wie «Keine Angabe» , «keine Antwort», «weiss nicht» o.ä. zur Verfügung stellen

Stefan Stieger, Ulf Dietrich Reips, Martin Voracek. Forced-Response in Online Surveys: Bias from Reactance and Increase in Sex-Specific Dropout. Journal of the American society for information science and technology. 58(11): 1653-1660. 2007.

Zusammenfassung. Stefan Stieger, Ulf Dietrich Reips und Martin Voracek führten im Jahr 2007 an der Universität Wien eine Studie zum Thema Pflichtfragen durch. Anhand von Daten, die sie aus einer Befragung zum Thema Eifersucht und Treue in einer Beziehung gewannen, untersuchten Sie die Auswirkungen von Pflichtfragen (sogenannter forced-response) auf die Abbruchrate und dass Antwortverhalten der 4’409 teilnehmenden Studenten. Die Analysen zeigten, dass rund 18% der Befragten mindestens einmal versucht hatten eine Frage zu überspringen. Dies war jedoch nicht möglich, da der Fragebogen aus Pflichtfragen bestand. Als Reaktion auf diese Umstände brachen rund 42% die Befragung direkt nach dem ersten missglückten Sprungversuch ab. Ausserdem wichen die Antworten der Befragten, die die Frage nach dem Versuch sie zu überspringen gezwungenermassen beantworteten, zunehmend von den von ihnen erwarteten Antworten ab. Die Befragten reagierten also auf den erfolglosen Sprungversuch, indem sie die Frage durch eine zufällige Auswahl beantworteten. Das Einführen von Pflichtfragen hatte also in diesem Fall nicht nur eine höhere Abbruchrate zur Folge, sondern führte auch dazu, dass die Datenqualität durch zufällige (und somit nicht ehrliche) Antworten verringert wurde.

Fragestellung.  Mit dem Ziel, festzustellen welche Auswirkungen Pflichtfragen auf die Abbruchrate und das Antwortverhalten von Befragten haben, wurden 18‘525 Studenten per E-Mail eingeladen an einer Online-Befragung zum Thema Eifersucht und Treue in einer Beziehung teilzunehmen. Der Hyperlink zur Umfrage wurde direkt in den E-Mailtext eingebunden.

Methodik. Der Online-Fragebogen wurde so programmiert, dass er nur aus Pflichtfragen bestand. Versuchte ein Teilnehmer eine Frage zu überspringen, wurde er mit einer Fehlermeldung gebeten, die Frage auszufüllen. Teilnehmenden, die den Fragebogen ausfüllten ohne eine Frage überspringen zu wollen, war zu keinem Zeitpunkt bewusst, dass es sich um Pflichtfragen handelte. So ergaben sich zwei Teilnehmergruppen: Die „non-forced-response Gruppe“, die alle Befragte beinhaltet, die niemals versuchten eine Frage zu überspringen und die „forced-response Gruppe“ mit den Befragten, die einen Sprung versuchten.

Teilnahme. Die Geschlechter waren unter den Teilnehmenden etwa gleichmässig verteilt (Frauen 50.4%, Männer 49.6%). Studenten der Sozialwissenschaften waren mit 40.6% überrepräsentiert. Der Fragebogen wurde 4‘905-Mal aufgerufen. Fälle von Gender-Switching und Mehrfachteilnahmen wurden ausgeschlossen. Somit wurden 4‘409 Fälle in die Analyse miteinbezogen (Responserate: 23.8%).

Ergebnisse. Insgesamt versuchten 803 von 4‘409 Befragten mindestens einmal eine Frage zu überspringen (18.3%) und produzierten damit 863 Fehlermeldungen. 13.7% der Befragten (n=602) versuchten bereits die zweite Frage (demografische Angaben) zu überspringen. Von den 803 Befragten, die eine Frage überspringen wollten, brachen 41.9% (n=394) den Fragebogen nach der ersten Fehlermeldung ab (d.h. Abbruch nach dem ersten Überspring-Versuch). 35.8% der Befragten (n=288) die eine Frage überspringen wollten, füllten den Fragebogen bis zum Schluss aus. Die „natürliche“-Abbruchrate (d.h. Anzahl Abbrüche der Personen, die nie eine Frage überspringen wollten und so auch nicht wussten, dass es sich um Pflichtfragen handelt) betrug 18.6%. Eine Cox Regression wies einen signifikanten Zusammenhang zwischen Pflichtfragen und Abbruch (+1.459 mit einem p-Wert von <0.001) und Abbruch und Geschlecht (+0.383 mit p<0.001; Männer brechen mit 1.78-Mal (non-forced-response Gruppe) resp. 1.33-Mal (forced-response Gruppe) grösserer Wahrscheinlichkeit ab).

Reaktanz. Reaktanz wurde im Zusammenhang mit der Umfrage als Antwortverhalten definiert, dass vom erwarteten Verhalten (ermittelt durch vergleichbare Fälle) abweicht. Die Studie zeigte, dass auf Fragen, die man zu überspringen versuchte, mehrheitlich mit einer zufälligen Antwortauswahl reagiert wurde. Dieser Reaktanz-Effekt war am stärksten bei der Frage, die übersprungen werden sollte und nahm mit jeder nächsten Frage ab.

Fazit. Pflichtfragen erhöhen die Abbruchrate und führen durch eventuelle Zufallsauswahlen zu einer tieferen Datenqualität. Jedoch ist es wichtig den „Guten“ vom „schlechten“ Abbruch zu unterscheiden. Der gute Abbruch beinhaltet Interviews, deren Antworten aufgrund tiefer Motivation oder anderen Faktoren die Datenqualität verringern würde. Der schlechte Abbruch dagegen beinhaltet Interviews die wertvolle Daten geliefert hätten, jedoch aufgrund nicht ansprechendem Design, Programmierungsfehler oder ähnlichem abgebrochen wurden. Die Autoren argumentieren, dass Pflichtfragen helfen den schlechten Abbruch zu maximieren, da eine motivierte Person sich mit hoher Wahrscheinlichkeit von Pflichtfragen stören lässt. Dennoch empfehlen die Autoren Pflichtfragen nur wenn es wichtig ist vollständige Daten zu haben, ein hoher Rücklauf erwartet wird und so eine höhere Abbruchrate keine grösseren Probleme darstellt und die Geschlechterverteilung der Teilnehmer nicht ein Hauptmerkmal der Studie ist.

Alexandra Mergener, Philipp Sischka, Jean Philippe Décieux. To force or not to force. That is the question! – Die Auswirkungen des Einsatzes von Forced Answering-Fragen auf die Qualität der Befragungsergebnisse. Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie: Routinen der Krise – Krise der Routinen. Edition 37. 2014.

Zusammenfassung. In ihrer Studie aus dem Jahr 2014 untersuchten Alexandra Mergener, Philipp Sischka und Jean Philippe Décieux nicht nur die Auswirkungen von Pflichtfragen sondern auch inwiefern alternative Antwortoptionen wie „keine Angabe“ oder „Weiss nicht“ diese Effekte eindämmen können. Die Studie basierte auf drei Versionen desselben Fragebogens zum Thema Kriminalität: eine ohne Pflichtfragen, eine mit Pflichtfragen und eine mit Pflichtfragen und „keine Antwort“-Optionen. Aufgrund der Daten von 1056 befragten Studenten konnte kein signifikanter Unterschied in den Abbruchsquoten der jeweiligen Fragebogenversionen festgestellt werden. Allerdings zeigte sich, dass der Fragebogen häufiger abgebrochen wurde, wenn die Befragten mit langen Item-Batterien (Fragen mit vielen Auswahlmöglichkeiten) konfrontiert wurden. Ausserdem wurde bei Pflichtfragen der Fragebogen auffällig früher abgebrochen und nicht erst, wie bei der Version ohne Pflichtfragen, bei den heikleren Fragen (wie z.B. „Haben Sie schon einmal eine Straftat begangen?“). Das hinzufügen einer „keine Antwort“-Option reduzierte dieses Abbruchverhalten. Des Weiteren wurde aus den Daten ersichtlich, dass die Befragten bei heiklen Fragen, die sie nicht überspringen konnten und bei denen auch keine alternative Antwortoption („keine Antwort“, „weiss nicht“ o.ä.) zur Verfügung standen, dazu tendierten die sozial wünschenswerteste Antwort (Im Beispiel: „Nein“) zu wählen. Dies hat, wie eine zufällig ausgewählte Antwort, zur Folge, dass die Datenqualität sinkt.

Fragestellung. Pflichtfragen sind ein Tool, dass in Online-Befragungen einfach umzusetzen sind. Jedoch sind sich viele Nutzer von Online-Befragungstools nicht bewusst, dass es auch Bedenken zu dieser Vorgehensweise gibt. Die Autoren überprüften mit ihrer Studie folgende Thesen: Pflichtfragen führen zu erhöhter Unit-non-Response (d.h. Abbruch des Fragebogens, Verweigerung der Befragung), eine neutrale Antwortkategorie kann den negativen Effekt von Pflichtfragen auf Unit-Nonresponse einschränken und Pflichtfragen erhöhen die Anzahl weniger valider Antworten (wie Lügen oder zufällig gewählte Antworten).

Methodik. Es wurde ein Split-Ballot-Experiment (Eine Art der Befragung bei der die Stichprobe in Unterstichproben geteilt wird, welche dann jeweils mit verschiedenen Versionen der Befragung konfrontiert werden). Dafür wurden drei Versionen des Fragebogens erstellt: Version 1 ohne Pflichtfragen, Version 2 in der jede Frage beantwortet werden musste um weiter zu kommen und Version 3, welche auch aus Pflichtfragen bestand, jedoch die Antwortoption „Keine Angabe“ erhielt. Das Thema des Fragebogens war „Kriminalität und ihre Wahrnehmung in der Bevölkerung“. Ausserdem wurden insgesamt 350 Euro als Teilnahmeanreiz verlost.

Teilnahme.  Befragt wurden Studierende der Universität und der Hochschule Trier. Die Umfrage stand während einem Monat zur Teilnahme bereit. Es nahmen 1056 Personen teil, davon 37.3% weiblich und 62.7% männlich. Das Durchschnittsalter betrug 27 Jahre.

Ergebnisse. Die Analyse der Abbruchsquoten zeigte keine signifikanten Unterschiede zwischen der Abbruchsquote des gesamten Fragebogens und den verschiedenen Fragebogenversionen. Die Abbruchsquote befand sich in allen drei Fällen zwischen 15.6 und 17.6 Prozent. Es liess sich jedoch zeigen, dass wenig motivierte Befragte den Fragebogen eher abbrachen, wenn sie gezwungen waren sich mit langen Item-Batterien auseinander zu setzen. Ausserdem führte der Antwortzwang dazu, dass der Fragebogen signifikant früher abgebrochen wird. Eine „keine Antwort“-Option reduzierte diese Umstände signifikant.

Sozial wünschenswerte Antworten. Aus den Daten wurde ersichtlich, dass bei sensiblen Fragen (heikle, persönliche Frage. Hier am Beispiel: „Haben Sie schon einmal eine Straftat begangen?“) der Antwortzwang ohne „keine Antwort“-Option dazu führt, dass tendenziell die sozial wünschenswerte Antwort (im Beispiel: „Nein“) gewählt wird. Dies hat zur Folge, dass die Antworten weniger „ehrlich“ sind und die Qualität der Daten dadurch sinkt. Die Tendenz sozialkonform zu Antworten konnte jedoch nicht als signifikanter kausaler Effekt identifiziert werden.

Fazit. Der Effekt von Pflichtfragen auf die Datenqualität und die Ergebnisse ist eher negativ einzuschätzen. Die Autoren raten deshalb Pflichtfragen nur restriktiv zu verwenden und allenfalls eine „Keine Antwort“-Option anzubieten. So verhindert man auch, dass die Befragten bei heiklen Pflichtfragen dazu tendieren, die sozial wünschenswerteste Antwort zu wählen.