Speeder, Musterankreuzer und Straightliner: Verschmutzte Daten und wie man Ihnen entgegenwirken kann

By Nina Gwerder in Allgemein, Auswerten (Auswertungen, Exporte) 0 Comment

Onlinebefragungen bringen viele ökonomische Vorteile mit sich: Sie sind vergleichsweise kostengünstig, zeitsparend und angenehm auszuwerten. Aber auch aus methodologischer Sicht haben Sie anderen Befragungsmethoden gegenüber die Nase vorn: Interviewereinflüsse fallen weg und auch die Auswirkungen von sozialer Erwünschtheit auf das Antwortverhalten können erfolgreich minimiert werden. Kein Wunder, dass dieser Befragungsmodus in den letzten Jahren an enormer Beliebtheit gewonnen hat.

Allerdings bringt der hohe Grad an (empfundener) Anonymität in der typischen Onlinebefragung auch einige Probleme mit sich: Teilnehmer fühlen sich bei schriftlichen (Online)Befragungen weniger verpflichtet den Fragebogen gewissenhaft auszufüllen, als wenn Ihnen beispielsweise ein Interviewer gegenübersitzt oder am Telefon zuhört. Dadurch erhöht sich auch die Tendenz zum Ankreuzen von falschen oder willkürlichen Antworten, insbesondere dann, wenn die Teilnehmer zum Ausfüllen des Fragebogens verpflichtet werden oder am Ende der Befragung ein attraktiver Incentive (z.B. Gutschein, Verlosung) wartet. Solches Verhalten – wahlloses- oder Muster-Ankreuzen, sowie die systematische Wahl einer spezifischen Antwortmöglichkeit– verschmutzt die Daten und kann zu Verzerrungen in den Auswertungen führen. Die ist vor allem dann besonders problematisch, wenn die Rücklaufzahl insgesamt eher gering oder der Anteil der verschmutzten Rückläufe hoch ist.

 

Inhaltsabhängiges vs. Inhaltsunabhängiges verschmutzendes Verhalten

Wenn man von verschmutzten oder verzerrten Daten spricht, kann man grundsätzlich zwischen zwei Arten von potentiellen Ursachen für dieses Verhalten unterscheiden: Ursachen, die aus dem Inhalt des Fragebogens entstammen (inhaltsabhängiges Verhalten), und Ursachen welche unabhängig vom Befragungsinhalt auftreten und somit vom Teilnehmer selbst ausgehen (inhaltsunabhängiges Verhalten).

Bekannte Beispiele von Ursachen für inhaltsabhängiges verschmutzendes Verhalten sind beispielsweise Reihenfolgeeffekte, Suggestivfragen oder nicht-ausbalancierte Skalen. Um diesen Arten von Effekten entgegen zu wirken, wurden durch die Methodenforschung zahlreiche Standardregeln entwickelt, die bei der Gestaltung von Befragungen eingehalten werden sollen. Eine gute Zusammenstellung dieser Regeln sowie auch der verschiedenen Ursachen finden Sie beispielsweise in Rolf Porst (2013) „Fragebogen – Ein Arbeitsbuch“.

Hauptthema dieses Blogbeitrags ist jedoch jenes Verhalten, welches weitaus weniger erforscht und komplexer auszumerzen ist: das inhaltsunabhängige verschmutzende Verhalten. Als Durchführer/in einer Onlinebefragung haben Sie im Normalfall keinen Einfluss auf das Verhalten und die Prädisposition des Teilnehmers, der zu Hause vor dem Bildschirm sitzt und Ihre Umfrage ausfüllt. Dennoch gibt es eine Handvoll Techniken, die es Ihnen erlauben, den Grad der Verzerrung durch diese Art von Verhalten zu minimieren.

 

Response Sets

Mit Response-Set wird ein Muster in der Beantwortung von Fragebatterien gemeint, welches unabhängig vom Inhalt der Frage oder des Fragekontexts auftritt. Solche Muster können in verschiedenen Formen auftreten. Die häufigsten dieser Formen sind dabei:

  1. Response Range: Ein Teilnehmer verwendet unabhängig vom Inhalt der Frage oder der Ausrichtung der Antwortvorgaben immer nur einen bestimmten Bereich der Skala.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage den ersten oder zweiten Skalenpunkt resp. die erste oder zweite Antwortmöglichkeit an – unabhängig von der Polung (Ausrichtung) der Skala oder der Anzahl möglicher Antworten (Abstufungen). Innerhalb einer Tabellenfrage könnte dies Beispielsweise so aussehen:
  2. Extreme Checking Style: Ein Teilnehmer kreuzt abwechselnd den linken und den rechten Extrempunkt der Skala an.
    Beispiel: Bei Frage 1 wählt der Teilnehmer die erste (oder auf einer Likert-Skala, die am weitesten links liegende) Antwortmöglichkeit, bei Frage 2 die Letzte (am weitesten rechts), bei Frage 3 wieder die Erste (Links), bei Frage 4 die Letzte (Rechts), etc.
  3. Muster-Ankreuzer: Wenn man das Antwortbild einer Tabellenfrage (z.B. Fragetypen „Tabelle Multi-Rating„, „Tabelle Multiple-Choice“ oder „Freie Matrix“ unseres Tools) betrachtet, lassen sich Muster, wie beispielsweise Diagonalen oder Pfeile, finden.
    Beispiel:
  4. Straightliner: Teilnehmende weisen ein sogenanntes Null-Varianz Antwortverhalten auf, d.h. Sie kreuzen immer dieselbe Antwort an, unabhängig von der Anzahl Antwortmöglichkeiten oder der Polung der Skala. Besonders oft wird die durchgängige Wahl des mittleren Skalenpunktes („Centrism“) oder eines Extremwerts („Extremism“) beobachtet.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage die erste Antwortoption aus („Extremism)“.

Grundsätzlich sind alle Formen von Response-Sets sowohl zwischen als auch innerhalb von Fragen mit mehreren bewertbaren Items auffindbar. Allerdings sind Straightliner und Muster-Ankreuzer tendenziell eher innerhalb einer Tabellenfrage anzutreffen.

 

Folgen

Besonders Straightliner sind bei unmotivierten Teilnehmern beliebt. Studien ergeben, dass bei einer offenen Onlinebefragung jeder vierte Teilnehmer mindestens eine von neun ausgewählten Fragen mit Null-Varianz Antwortverhalten beantwortet hat (Jandura, 2018). Doch wie schwerwiegend sind die Folgen von Response-Sets für die Datenqualität und Auswertungen?

Für viele der gängigen statistischen Auswertungen sind die Auswirkungen glücklicherweise gering. Gerade bei Häufigkeitsauszählungen (OU-Standardauswertung), Mittelwerten, einfachen Streuungsmassen oder Korrelationsmassen werden nur marginale Effekte nachgewiesen. Allerdings wächst die Differenz zwischen den Ergebnissen mit und ohne Teilnehmer mit Response-Sets mit dem Anteil der Befragten, die auf solches verschmutzendes Verhalten zurückgreifen.
Aus diesem Grund sollte man sich auch bei solchen Auswertungen Gedanken darüber machen, ob und in welchem Ausmass verschmutzendes Verhalten vorliegen könnte und wie damit umgegangen werden soll.

Stark problematisch werden durch Response-Sets verschmutzte Daten jedoch bei Analysen, die sich an der Ähnlichkeit von Antworten orientieren. Dazu gehört allen voran die Cluster-Analyse (z.B. Chi-Quadrat, Jaccard-Koeffizient, oder Pearson Korrelationskoeffizient), welche beispielsweise bei Zielgruppen- oder Zusammenhangsanalysen eingesetzt werden. Auch in unserem Tool können solche Analysen mittels der Auswertungsfunktion „Chi-Quadrat-Mehrfeldertest mit Kreuztabelle (für nominale Items) / Signifikanz / Pearson / Cramer)“ vorgenommen werden.

Wenn davon ausgegangen werden muss, dass Teilnehmer mit Response-Sets vorhanden sind und diese die Auswertungen bedeutend verzerren, muss vor den Auswertungen eine Datensatzbereinigung vorgenommen werden. Bei dieser Bereinigung werden verschmutzte Rückläufe aus dem Datensatz gelöscht oder zumindest von der Auswertung ausgeschlossen (z.B. über die Superfilter-Funktion unseres Onlinetools).

 

Identifikation & Datensatzbereinigung

Es gibt verschiedene Arten um verschmutzendes Verhalten zu identifizieren. Die meisten Strategien beziehen sich dabei auf die Identifizierung nach der Messung, d.h. nachdem die Feldphase der Befragung beendet wurde und der Datensatz vorliegt. Allerdings gibt es auch einige Möglichkeiten, bereits bei der Gestaltung des Fragebogens Mechanismen einzubauen, die die Identifizierung von Response-Sets vereinfachen.

Zu diesen Mechanismen gehören sogenannte Aufmerksamkeitstests, die überprüfen ob die Aufgaben sorgfältig gelesen und ausgefüllt werden. Beispielsweise können in der Frageformulierung unübliche Anweisungen gegeben werden („Kreuzen Sie die nachfolgende Checkbox nicht an, wenn Sie dies gelesen haben“). Eine zweite gängige Technik sind umgepolte (umgedrehte) Skalen (z.B. wenn „sehr gut“ plötzlich nicht mehr am linken sondern am rechten Ende der Skala aufzufinden ist) oder Fallen, die widersprüchliches Verhalten aufdecken. Beispielsweise kann ein Produkt, von dem der Teilnehmer in einer früheren Frage angegeben hat, dass er es nicht kennt, trotzdem in Folgefragen mitangezeigt werden. Falls der Teilnehmer dann dieses Produkt trotzdem bewertet statt „Kenne ich nicht“ anzuwählen,  widerspricht er sich selbst, was darauf hindeutet, dass eine der beiden Fragen nicht korrekt gelesen oder einfach willkürlich geantwortet wurde.

 

Für die Identifikation der Response-Sets im Datensatz, d.h. nach Ende der Befragung, schlägt die Methodenliteratur verschiedene Verfahren vor:

  1. Response Range: Vergleich der Standardabweichung über alle Items. Geringe Standardabweichungen weisen auf die Verwendung von Response Range hin.
  2. Straightliner: Teilen der Anzahl Male, die eine Antwortmöglichkeit (z.B. die erste Antwortmöglichkeit) gewählt wurde, durch die Anzahl der Items dieser Tabellenfrage (z.B. 5x die erste Antwortkategorie / 6 Items = 0.83) oder die Gesamtzahl Fragen im Fragebogen. Wenn der Quotient 1 beträgt, liegt Nullvarianz im Antwortverhalten vor.
  3. Extreme Checking Style: Auch hier ist der für die Straightliner unter 2. beschriebene Quotient ein guter Indikator. Wenn Extreme Checkying Style vorliegt, beträgt dieser für alle Antwortkategorien, mit Ausnahme der Extrempunkte (erste und letzte Antwortmöglichkeit), null. Für die Extrempunkte sollte ein Quotient von etwa 0.5 vorliegen.
  4. Muster-Ankreuzer: Eine anerkannte „einfache“ Methode, wie bei den anderen Response-Sets, gibt es hier leider nicht.
    Wir empfehlen die Antwortzeiten für die jeweilige Tabellenfrage zu untersuchen und darin die Speeder (Befragte, deren Antwortzeit für diese Frage weniger als die Hälfte des Medians der Antwortzeit für diese Frage beträgt) zu identifizieren. Über die Funktion „Ausgefüllte (einzelne) Fragebogen anzeigen/ausdrucken („Originale“ aller Teilnehmer)“ unseres Tools, lassen sich anschliessend die Fragebögen der ausgewählten Teilnehmer anzeigen und einzeln von Auge auf Muster überprüfen.

Der komplette Ausschluss von Speedern von der Auswertung, ist übrigens ein Verfahren, dass in der Marktforschung regelmässig angewandt wird, um die Qualität des Datensatzes zu verbessern. Wir empfehlen jedoch, nicht blind nach der Regel „Alles, was unter der Hälfte des Medians der Bearbeitsungszeit ist, ausschliessen“ vorzugehen. Gerade bei Fragebögen mit Pfaden oder Sprüngen kann die Ausfüllzeit je nach persönlicher Pfadführung dramatisch variieren. Viel mehr sollte auf den Kontext der Befragung und die Zielgruppe geachtet werden.

So empfiehlt sich das Entfernen von Speedern grundsätzlich bei Panelbefragungen, Pflichtbefragungen oder Befragungen, die öffentlich publiziert werden und einen attraktiven Incentive bieten. Weniger häufig auftreten sollten Speeder bei Befragungen von ausgewählten Gruppen wie beispielsweise Mitarbeitern oder Kunden mit engem Kontakt.

 

Unterstützung

Sie sind sich unsicher, ob Response Sets bei Ihrem Befragungsprojekt ein Problem darstellen oder benötigen Hilfe beim Bereinigen Ihres Datensatzes? Nehmen Sie Kontakt mit uns auf! Unsere Mitarbeiter unterstützen und beraten Sie gerne zu diesem Thema!

 

 

Literatur

Porst, Rolf (2013). Fragebogen – Ein Arbeitsbuch. Wiesbaden: Springer Fachmedien GmbH.

Jandura, Olaf (2018). «Fake Data?» in: Rössler, Patrick & Rossmann, Constanze (Hrsg.). Kumulierte Evidenzen. Seiten 207-223.

Teilnehmer mittels psychografischen Merkmalen vergleichbar machen

By Manuel Haefeli in Allgemein 0 Comment

Beim Durchführen von Fragebögen wird immer ein definiertes Ziel verfolgt. Häufig geht es darum die Menschen oder ihre Meinungen besser kennen zu lernen und zu verstehen. Da aber jeder Mensch ein Individuum ist und unterschiedlichste Wertebegriffe oder Handlungsweisen pflegt, werden auch die Antworten unterschiedlich ausfallen. Es stellt sich also am Ende immer die Frage, wie man die Auswertungen kategorisieren oder die Personen dahinter in bestimmte Gruppen einteilt, um schließlich die einzelnen Gruppen von Menschen miteinander vergleichen zu können.

Ein häufiges Anwendungsfeld für solche Kategorisierungen sind Zielgruppenanalysen. Um seine Zielgruppe als Unternehmen besser kennen zu lernen, lohnt es sich mit seinen Kunden zu sprechen, herauszufinden welche Personen dahinterstecken und ihre Merkmale abzufragen. Es gibt viele verschiedene Merkmale die einen Menschen ausmachen können. Darunter sind demografische Merkmale (Alter, Geschlecht, etc.), regionale Merkmale (Wohnort, Stadttypus, etc.), verhaltensorientierte Merkmale (Preisorientierung, Mediennutzung, etc.) oder psychografische Merkmale, welche versuchen Personen nach ihren Werten, Einstellungen und Lebensstilen einzuordnen.

Um diese psychografischen Merkmale von Menschen in unterschiedliche Gruppen einzuteilen, gibt es viele verschiedene Modelle und Methoden. Vier von ihnen möchte ich ihnen kurz vorstellen:

Sinus-Milieus

Das Modell der Sinus-Milieus besteht aus zwei Dimensionen. Auf der Y- Achse befindet sich die Soziale Lage (Unter-, Mittel-, und Oberschicht) und auf der X-Achse die Grundorientierung (Tradition, Modernisierung/Individualisierung und Neuorientierung). Mittels eines quantitativen Fragebogens werden die Menschen innerhalb dieses zweidimensionalen Modelles in verschiedene zusammengehörige Gruppen unterteilt. In Deutschland ergaben sich folgenden 10 Sinus-Milieus: Konservativ-Etablierte, Liberal-Intellektuelle, Performer, Expeditive, Adaptiv-Pragmatisch, Bürgerliche Mitte, Sozialökologisches Milieu, Traditionelle, Prekäre und Hedonisten. Das Modell ermöglicht also die Personen anhand der zwei Dimensionen in unterschiedliche Gruppen mit ähnlichen Werten und Grundorientierungen einzuteilen.

Semiometrie-Modell

Durch das Semiometrie-Modell werden die Einstellungen von Personen zu 14 unterschiedlichen Wertefelder gemessen. Diese Wertefelder sind namentlich: Sozial, verträumt, erlebnisorientiert, kämpferisch, traditionsverbunden, religiös, rational, kulturell, lustorientiert, kritisch, dominant, pflichtbewusst, familiär und materiell. Mittels eines Fragebogens müssen die Personen 10 Begriffe pro Wertefeld auf einer Skala von -3 bis +3 bewerten. Eine -3 bedeutet, dass der Begriff ein sehr unangenehmes Gefühl auslöst und eine +3 ein sehr angenehmes Gefühl. Anhand dieser Punkte wird für jedes Wertefeld einen Score berechnet und die Personen können so charakterisiert und zu Gruppen zusammengefasst werden.

Roper-Consumer Styles

Der Roper-Consumer Styles oder kurz RCS liegt einem ähnlichen Konzept wie das Semiometrie-Modell zu Grunde. Ebenfalls wird die Einstellung oder die Akzeptanz von Personen zu Begriffen und Aussagen abgefragt. Die Ergebnisse werden anschließend auf einer Strukturkarte festgehalten, auf welcher die Seiten jeweils unterschiedliche Bedürfnisse darstellen. Auf der X-Achse befindet sich ein Verlauf von leidenschaftlich leben zu Frieden und Sicherheit und auf der Y-Achse ein Verlauf von Sein zu Haben. Durch die unterschiedliche Positionierung auf der Strukturkarte können die Personen in verschiedene Gruppen eingeteilt werden. Der RCS unterscheidet dabei folgende Gruppen: Träumer, Häusliche, Bodenständige, Abenteurer, Realisten, Weltoffene, Kritische und Anspruchsvolle.

Limbic-Map

Auch die Limpic- Map arbeitet mit Begriffen, Werten und Emotionen. Sie basiert auf der Funktionsweise des menschlichen Gehirns. Dabei kann das Gehirn in drei grundlegende Richtungen, Emotionen einordnen: Stimulanz, Dominanz und Balance. In einem Kreis werden die Räume zwischen diesen drei Richtungen in Abenteuer und Thrill, Disziplin und Kontrolle sowie Fantasie und Genuss eingeteilt. Anschließend werden wieder die Gruppen durch Ihre Positionierung auf dem Kreis eingeteilt. Die sogenannten Limbic Types sind folgende: Harmoniser, Offene, Hedonisten, Abenteurer, Performer, Disziplinierte und Traditionalisten.

Schlussendlich haben alle vier Modelle den gleichen Ansatz und sie versuchen Menschen in Gruppen einzuteilen um diese miteinander vergleichen zu können. Sie schaffen somit eine Grundlage für intensivere Clusteranalysen oder andere statistische Auswertungen. Eine weitere Gemeinsamkeit ist, die problemlose Umsetzung aller vier Modelle über unser Tool. Falls also auch Sie eine Zielgruppenanalyse planen, würden wir uns freuen sie an Board von onlineumfragen.com Begrüssen zu dürfen.

Pfade in langen Fragebögen schneller Testen mit gruppenspezifischen Pfaden

By Nina Gwerder in Erstellen (Fragetypen, Codes in Fragen) 0 Comment

Wenn Sie öfters mit langen Fragebögen und komplexen Pfaden zu tun haben, kennen Sie dieses Szenario bestimmt:

Sie klicken sich durch den halben Fragebogen um zu den Fragen zu gelangen, bei denen Sie die Pfade hinterlegt haben. Leider funktioniert etwas noch nicht wie gewünscht. Sie nehmen die entsprechenden Änderungen im Admin-Bereich vor, und schon geht es wieder los: Gefühlte 100 Klicks sind notwendig, bis Sie im live-Fragebogen wieder an der richtigen Stelle sind um den anpepassten Pfad zu testen.

Gerade bei komplexen Pfadlogiken, wo häufig erst mehrere Versuche zur richtigen Programmierung führen, ist das ständige „Durchklicken“ durch den live-Fragebogen sehr mühsam.

Wenn Sie oben genannte Situation nur zu gut kennen, dann haben wir gute Neuigkeiten für Sie. Es gibt einen Trick, der Ihnen das Programmieren und Testen von Pfaden in langen Fragebögen stark erleichtert: Verwenden Sie gruppenspezifische Pfade! Eine unserer Kundinnen hat uns auf diese Verwendung von gruppenspezifischen Pfaden aufmerksam gemacht, und wir wollten Ihnen diesen Tipp nicht vorenthalten.

Das Konzept ist einfach: Anstatt sich ständig durch den gesamten Fragebogen zu quälen, um zu einem spezifischen Punkt zu gelangen, erstellen Sie einen gruppenspezifischen Pfad, der alle für den Pfadtest irrelevanten Fragen des Fragebogens ausblendet.

 

Wie genau Sie beim erstellen des gruppenspezifischen Pfads für einen Pfadtest vorgehen sollten, illustrieren wir Ihnen anhand des folgenden Beispiels:

Wir möchten für einen Fragebogen mit insgesamt 70 Fragen die Pfade einrichten und anschliessend auch direkt testen. Pfadlogiken gibt es in den Fragen 15 (Ein-/Ausblenden der Fragen 16-21), 32 (Ein-/Ausblenden der Fragen 33-40) und 61 (Ein-/Ausblenden der Fragen 62-70). 

In einem ersten Schritt erstellen wir den gruppenspezifischen Pfad. Dafür klicken wir im Menübereich „Fragebogen“ unter „Erweiterte Optionen“ -> „Pfade (Fragen ein-/ausblenden)“ auf den Link „[Initialpfad ändern / teilnehmerspezifische Pfade / Zeitsteuerung ändern]“ und wählen anschliessend die Option „gruppenspezifische Pfade hier hinterlegen“ an.

 

 

Nun geben wir dem gruppenspezifischen Pfad einen Namen (welchen wir später beim Erfassen der Testadressen in die Spalte „Notiz“ eintragen werden), z.B. „Pfadtest“, und fügen im rechten Feld den Initialpfad für die Fragen ein, die für den Pfadtest relevant sind. In oben genanntem Beispiel sind das die Fragen 15-21, 32-40 und 61-70.

 

Sie möchten Ihr Wissen zu Initialpfaden auffrischen?
Dann ist unser  Quickstart „Initialpfade“ genau das Richtige für Sie.

 

 

Anschliessend klicken wir im Kasten „Initialpfad“ auf die Option „Initialpfad aktiv: Teilnehmer sieht nur ganz bestimmte Fragen (absolute Fragenummern, siehe Hinweis roter Kasten unten).“ und speichern unsere Einstellungen über einen Klick auf den grünen Button „Jetzt speichern!“.

 

 

 

Fast geschafft! Damit wir nun auch vom gruppenspezifischen Pfad für unsere Pfadtests profitieren können, brauchen wir nur noch im Menübereich „Teilnehmer“ unter „2. Schritt“ -> „erfassen, ändern, löschen, sehen“ die gewünschte Anzahl Test-Adressen zu erfassen und jeweils in der Spalte „Notiz“ die Gruppenbezeichnung des eingestellten gruppenspezifischen Pfads einzufügen, in diesem Fall also „Pfadtest“.

Wenn wir uns nun die Testlinks im Menübereich „Teilnehmer“ unter „Einladungs-Mails versenden (Menü)“ zusenden und den entsprechenden Link zum Testen unserer Pfade verwenden, werden uns nur noch die Fragen angezeigt, die für den Pfadtest relevant sind. Das ständige Durchklicken ist Vergangenheit!

 

Achtung!
Bitte beachten Sie, dass gruppenspezifische Pfade bei offenen und halb-offenen Umfragen nur funktionieren, wenn die Teilnehmerverfolgung eingeschaltet ist (Haken).

 

 

 

Wir hoffen, dass Ihnen dieser Tipp bei der Arbeit mit langen Fragebögen weiterhelfen wird. Falls Sie noch weitere Fragen zu den Pfaden haben oder Hilfe benötigen, zögern Sie nicht, uns zu kontaktieren. Wir unterstützen Sie gerne beim Erfassen Ihres Fragebogens!

Pflichtfragen: Ja oder nein?

By Nina Gwerder in Allgemein 0 Comment

Zwingen oder nicht zwingen – Das ist hier die Frage!  Pflichtfragen erscheinen auf den ersten Blick als attraktives Mittel um von allen Teilnehmern möglichst komplette Antwortsets zu erhalten, welches in Online-Umfragen kinderleicht umzusetzen ist. Jedoch warnt die sozialwissenschaftliche Literatur vor unüberlegtem und häufigem Gebrauch dieses Fragetyps – zu Recht wie folgende zwei Studien zeigen.

 

Kurzzusammenfassung: Pflichtfragen

Vorteile Nachteile
  • Vollständige Daten (tiefe Item-Nonresponse; d.h. wenig unvollständig ausgefüllte oder übersprungene Fragen)
  • Höhere Abbruchrate (Verlust von Antworten bei den nachfolgenden Fragen)
  • Maximierung des schlechten Abbruch, d.h. eliminiert wenig motivierte Teilnehmer u.ä. (Personen die Fragen nicht genau lesen, etc.) und erhöht somit die Datenqualität.
  • Niedrigere Datenqualität (Lügen, Zufällige Auswahlen, Auswahl nach sozialer Akzeptanz)
  • Früherer Abbruch (Weniger Antworten bei allen nachfolgenden Fragen)
Unsere Empfehlung:
  • Pflichtfragen generell eher restriktiv einsetzen.
  • Vor dem Einsatz von Pflichtfragen jeweils Vorteile (z.B. Informationsgehalt der Frage) und Nachteile (z.B. Höhere Abbruchrate, d.h. die nachfolgenden Fragen werden weniger oft beantwortet) abwägen.
  • Wenn Pflichtfragen verwendet werden unbedingt Antwortoptionen wie «Keine Angabe» , «keine Antwort», «weiss nicht» o.ä. zur Verfügung stellen

 

Stefan Stieger, Ulf Dietrich Reips, Martin Voracek. Forced-Response in Online Surveys: Bias from Reactance and Increase in Sex-Specific Dropout. Journal of the American society for information science and technology. 58(11): 1653-1660. 2007.

Zusammenfassung. Stefan Stieger, Ulf Dietrich Reips und Martin Voracek führten im Jahr 2007 an der Universität Wien eine Studie zum Thema Pflichtfragen durch. Anhand von Daten, die sie aus einer Befragung zum Thema Eifersucht und Treue in einer Beziehung gewannen, untersuchten Sie die Auswirkungen von Pflichtfragen (sogenannter forced-response) auf die Abbruchrate und dass Antwortverhalten der 4’409 teilnehmenden Studenten. Die Analysen zeigten, dass rund 18% der Befragten mindestens einmal versucht hatten eine Frage zu überspringen. Dies war jedoch nicht möglich, da der Fragebogen aus Pflichtfragen bestand. Als Reaktion auf diese Umstände brachen rund 42% die Befragung direkt nach dem ersten missglückten Sprungversuch ab. Ausserdem wichen die Antworten der Befragten, die die Frage nach dem Versuch sie zu überspringen gezwungenermassen beantworteten, zunehmend von den von ihnen erwarteten Antworten ab. Die Befragten reagierten also auf den erfolglosen Sprungversuch, indem sie die Frage durch eine zufällige Auswahl beantworteten. Das Einführen von Pflichtfragen hatte also in diesem Fall nicht nur eine höhere Abbruchrate zur Folge, sondern führte auch dazu, dass die Datenqualität durch zufällige (und somit nicht ehrliche) Antworten verringert wurde.

Fragestellung.  Mit dem Ziel, festzustellen welche Auswirkungen Pflichtfragen auf die Abbruchrate und das Antwortverhalten von Befragten haben, wurden 18‘525 Studenten per E-Mail eingeladen an einer Online-Befragung zum Thema Eifersucht und Treue in einer Beziehung teilzunehmen. Der Hyperlink zur Umfrage wurde direkt in den E-Mailtext eingebunden.

Methodik. Der Online-Fragebogen wurde so programmiert, dass er nur aus Pflichtfragen bestand. Versuchte ein Teilnehmer eine Frage zu überspringen, wurde er mit einer Fehlermeldung gebeten, die Frage auszufüllen. Teilnehmenden, die den Fragebogen ausfüllten ohne eine Frage überspringen zu wollen, war zu keinem Zeitpunkt bewusst, dass es sich um Pflichtfragen handelte. So ergaben sich zwei Teilnehmergruppen: Die „non-forced-response Gruppe“, die alle Befragte beinhaltet, die niemals versuchten eine Frage zu überspringen und die „forced-response Gruppe“ mit den Befragten, die einen Sprung versuchten.

Teilnahme. Die Geschlechter waren unter den Teilnehmenden etwa gleichmässig verteilt (Frauen 50.4%, Männer 49.6%). Studenten der Sozialwissenschaften waren mit 40.6% überrepräsentiert. Der Fragebogen wurde 4‘905-Mal aufgerufen. Fälle von Gender-Switching und Mehrfachteilnahmen wurden ausgeschlossen. Somit wurden 4‘409 Fälle in die Analyse miteinbezogen (Responserate: 23.8%).

Ergebnisse. Insgesamt versuchten 803 von 4‘409 Befragten mindestens einmal eine Frage zu überspringen (18.3%) und produzierten damit 863 Fehlermeldungen. 13.7% der Befragten (n=602) versuchten bereits die zweite Frage (demografische Angaben) zu überspringen. Von den 803 Befragten, die eine Frage überspringen wollten, brachen 41.9% (n=394) den Fragebogen nach der ersten Fehlermeldung ab (d.h. Abbruch nach dem ersten Überspring-Versuch). 35.8% der Befragten (n=288) die eine Frage überspringen wollten, füllten den Fragebogen bis zum Schluss aus. Die „natürliche“-Abbruchrate (d.h. Anzahl Abbrüche der Personen, die nie eine Frage überspringen wollten und so auch nicht wussten, dass es sich um Pflichtfragen handelt) betrug 18.6%. Eine Cox Regression wies einen signifikanten Zusammenhang zwischen Pflichtfragen und Abbruch (+1.459 mit einem p-Wert von <0.001) und Abbruch und Geschlecht (+0.383 mit p<0.001; Männer brechen mit 1.78-Mal (non-forced-response Gruppe) resp. 1.33-Mal (forced-response Gruppe) grösserer Wahrscheinlichkeit ab).

Reaktanz. Reaktanz wurde im Zusammenhang mit der Umfrage als Antwortverhalten definiert, dass vom erwarteten Verhalten (ermittelt durch vergleichbare Fälle) abweicht. Die Studie zeigte, dass auf Fragen, die man zu überspringen versuchte, mehrheitlich mit einer zufälligen Antwortauswahl reagiert wurde. Dieser Reaktanz-Effekt war am stärksten bei der Frage, die übersprungen werden sollte und nahm mit jeder nächsten Frage ab.

Fazit. Pflichtfragen erhöhen die Abbruchrate und führen durch eventuelle Zufallsauswahlen zu einer tieferen Datenqualität. Jedoch ist es wichtig den „Guten“ vom „schlechten“ Abbruch zu unterscheiden. Der gute Abbruch beinhaltet Interviews, deren Antworten aufgrund tiefer Motivation oder anderen Faktoren die Datenqualität verringern würde. Der schlechte Abbruch dagegen beinhaltet Interviews die wertvolle Daten geliefert hätten, jedoch aufgrund nicht ansprechendem Design, Programmierungsfehler oder ähnlichem abgebrochen wurden. Die Autoren argumentieren, dass Pflichtfragen helfen den schlechten Abbruch zu maximieren, da eine motivierte Person sich mit hoher Wahrscheinlichkeit von Pflichtfragen stören lässt. Dennoch empfehlen die Autoren Pflichtfragen nur wenn es wichtig ist vollständige Daten zu haben, ein hoher Rücklauf erwartet wird und so eine höhere Abbruchrate keine grösseren Probleme darstellt und die Geschlechterverteilung der Teilnehmer nicht ein Hauptmerkmal der Studie ist.

 

Alexandra Mergener, Philipp Sischka, Jean Philippe Décieux. To force or not to force. That is the question! – Die Auswirkungen des Einsatzes von Forced Answering-Fragen auf die Qualität der Befragungsergebnisse. Verhandlungen der Kongresse der Deutschen Gesellschaft für Soziologie: Routinen der Krise – Krise der Routinen. Edition 37. 2014.

Zusammenfassung. In ihrer Studie aus dem Jahr 2014 untersuchten Alexandra Mergener, Philipp Sischka und Jean Philippe Décieux nicht nur die Auswirkungen von Pflichtfragen sondern auch inwiefern alternative Antwortoptionen wie „keine Angabe“ oder „Weiss nicht“ diese Effekte eindämmen können. Die Studie basierte auf drei Versionen desselben Fragebogens zum Thema Kriminalität: eine ohne Pflichtfragen, eine mit Pflichtfragen und eine mit Pflichtfragen und „keine Antwort“-Optionen. Aufgrund der Daten von 1056 befragten Studenten konnte kein signifikanter Unterschied in den Abbruchsquoten der jeweiligen Fragebogenversionen festgestellt werden. Allerdings zeigte sich, dass der Fragebogen häufiger abgebrochen wurde, wenn die Befragten mit langen Item-Batterien (Fragen mit vielen Auswahlmöglichkeiten) konfrontiert wurden. Ausserdem wurde bei Pflichtfragen der Fragebogen auffällig früher abgebrochen und nicht erst, wie bei der Version ohne Pflichtfragen, bei den heikleren Fragen (wie z.B. „Haben Sie schon einmal eine Straftat begangen?“). Das hinzufügen einer „keine Antwort“-Option reduzierte dieses Abbruchverhalten. Des Weiteren wurde aus den Daten ersichtlich, dass die Befragten bei heiklen Fragen, die sie nicht überspringen konnten und bei denen auch keine alternative Antwortoption („keine Antwort“, „weiss nicht“ o.ä.) zur Verfügung standen, dazu tendierten die sozial wünschenswerteste Antwort (Im Beispiel: „Nein“) zu wählen. Dies hat, wie eine zufällig ausgewählte Antwort, zur Folge, dass die Datenqualität sinkt.

Fragestellung. Pflichtfragen sind ein Tool, dass in Online-Befragungen einfach umzusetzen sind. Jedoch sind sich viele Nutzer von Online-Befragungstools nicht bewusst, dass es auch Bedenken zu dieser Vorgehensweise gibt. Die Autoren überprüften mit ihrer Studie folgende Thesen: Pflichtfragen führen zu erhöhter Unit-non-Response (d.h. Abbruch des Fragebogens, Verweigerung der Befragung), eine neutrale Antwortkategorie kann den negativen Effekt von Pflichtfragen auf Unit-Nonresponse einschränken und Pflichtfragen erhöhen die Anzahl weniger valider Antworten (wie Lügen oder zufällig gewählte Antworten).

Methodik. Es wurde ein Split-Ballot-Experiment (Eine Art der Befragung bei der die Stichprobe in Unterstichproben geteilt wird, welche dann jeweils mit verschiedenen Versionen der Befragung konfrontiert werden). Dafür wurden drei Versionen des Fragebogens erstellt: Version 1 ohne Pflichtfragen, Version 2 in der jede Frage beantwortet werden musste um weiter zu kommen und Version 3, welche auch aus Pflichtfragen bestand, jedoch die Antwortoption „Keine Angabe“ erhielt. Das Thema des Fragebogens war „Kriminalität und ihre Wahrnehmung in der Bevölkerung“. Ausserdem wurden insgesamt 350 Euro als Teilnahmeanreiz verlost.

Teilnahme.  Befragt wurden Studierende der Universität und der Hochschule Trier. Die Umfrage stand während einem Monat zur Teilnahme bereit. Es nahmen 1056 Personen teil, davon 37.3% weiblich und 62.7% männlich. Das Durchschnittsalter betrug 27 Jahre.

Ergebnisse. Die Analyse der Abbruchsquoten zeigte keine signifikanten Unterschiede zwischen der Abbruchsquote des gesamten Fragebogens und den verschiedenen Fragebogenversionen. Die Abbruchsquote befand sich in allen drei Fällen zwischen 15.6 und 17.6 Prozent. Es liess sich jedoch zeigen, dass wenig motivierte Befragte den Fragebogen eher abbrachen, wenn sie gezwungen waren sich mit langen Item-Batterien auseinander zu setzen. Ausserdem führte der Antwortzwang dazu, dass der Fragebogen signifikant früher abgebrochen wird. Eine „keine Antwort“-Option reduzierte diese Umstände signifikant.

Sozial wünschenswerte Antworten. Aus den Daten wurde ersichtlich, dass bei sensiblen Fragen (heikle, persönliche Frage. Hier am Beispiel: „Haben Sie schon einmal eine Straftat begangen?“) der Antwortzwang ohne „keine Antwort“-Option dazu führt, dass tendenziell die sozial wünschenswerte Antwort (im Beispiel: „Nein“) gewählt wird. Dies hat zur Folge, dass die Antworten weniger „ehrlich“ sind und die Qualität der Daten dadurch sinkt. Die Tendenz sozialkonform zu Antworten konnte jedoch nicht als signifikanter kausaler Effekt identifiziert werden.

Fazit. Der Effekt von Pflichtfragen auf die Datenqualität und die Ergebnisse ist eher negativ einzuschätzen. Die Autoren raten deshalb Pflichtfragen nur restriktiv zu verwenden und allenfalls eine „Keine Antwort“-Option anzubieten. So verhindert man auch, dass die Befragten bei heiklen Pflichtfragen dazu tendieren, die sozial wünschenswerteste Antwort zu wählen.

Erläuterung/Fussnote einfügen

By Nina Gwerder in Erstellen (Fragetypen, Codes in Fragen) 0 Comment

Sie möchten ihrer Frage noch eine Erläuterung oder Fussnote hinzufügen, die unterhalb des „Nächste Frage“ (Weiter)-Buttons erscheint? Dies ist mit dem Code %SUB _____ SUB% in wenigen Schritten bei allen Fragetypen ganz einfach möglich:

  1. Wählen Sie im Menubereich „Fragebogen“ bei der Frage, die einer Erläuterung bedarf, auf „ändern“.
  2. Im Textfeld zur Fragestellung können Sie nun mit dem Code %SUB _______ SUB% ihre Erläuterung eintragen. Falls Sie diese noch mit einer hochgestellten Zahl versehen möchten um sie zuweisen zu können, können Sie dies mit %HOCHxHOCH% tun (x steht als Platzhalter für jede beliebige Zahl oder jeden beliebigen Buchstaben).
  3. Drücken Sie auf „Änderungen vornehmen!“ und speichern Sie somit Ihre Änderungen. Das war´s schon, Sie haben eine Erläuterung hinzugefügt.
    Wenn Sie nun ihren Fragebogen testen erscheint die Erläuterung unterhalb der Navigationsbuttons. Achtung: Fussnote/Erläuterung erscheint nicht in der Vorschau, die Sie sehen wenn sie auf „Änderungen vornehmen!“ drücken. Sie müssen im Menubereich „Fragebogen“ auf „Ganzen Fragebogen testen!“ klicken um Ihre Fussnote zu prüfen.Abstand zwischen Fussnote und Navigationsbutton vergrössern
    Sie möchten den Abstand zwischen den Navigationsbuttons und der Erläuterung vergrössern. Fügen Sie einfach %LF% zu Ihrer Erläuterung hinzug (%LF% kann mehrmals verwendet werden. Ein %LF% resultiert in einer leeren Zeile Abstand zwischen Navigationsbutton und Erläuterung). Möchte ich also beispielsweise meine Erläuterung drei Zeilen nach unten verschieben verwende ich den Code
    %SUB %LF% %LF% %LF% Erläuterung SUB%

Drücken Sie auf „Änderungen vornehmen!“ und wählen Sie im Menubereich „Fragebogen“ die Option „Ganzen Fragebogen testen!“. Nun wird Ihre Erläuterung drei Zeilen weiter unten erscheinen als zuvor:

Falls Sie noch weitere Fragen zu Erläuterungen/Fussnoten haben oder Hilfe benötigen, zögern Sie nicht uns zu kontaktieren! Wir sind gerne für Sie da und unterstützen Sie bei der Gestaltung ihres Fragebogens.

 

 

 

 

 

 

 

 

 

 

Text im Footer einfügen (zusätzlich zu einem Footerbild)

By Roger Amberg in Allgemein, Erstellen (Fragetypen, Codes in Fragen) 0 Comment

Sie haben Ihr Logo als Footerbild definiert, möchten zusätzlich aber noch einen Text in den Footer integrieren oder einen Link zu Ihren AGB´s platzieren? Dann können Sie mit dem Code %FOOTERTEXT% arbeiten. Gehen Sie dafür folgendermassen vor:

1. Ausgangspunkt ist Ihre Umfrage mit einem einfachen Footer-Logo, welches z.B. unten rechts platziert ist.

 

2. Gehen Sie nun im Menubereich „Fragebogen“ bei der gewünschten Frage, bei welchem Sie den zusätzlichen Textfooter einrichten möchten, auf „ändern“. Geben Sie nun im Textfeld für die Fragestellung den folgenden Code ein:

%FOOTERTEXT Hier kommt nun Ihr gewünschter Text FOOTERTEXT%

 

Wiederholen Sie diesen Vorgang für jede Frage, in welchem der Footertext erscheinen soll. Wenn Sie dann Ihren Fragebogen testen, erscheint folgendes Bild:

 

 

Sie sehen nun, dass der eingegebene Text im Footer erscheint. Allerdings ist dieser noch nicht wirklich schön in der Umfrage positioniert. Um dies anzupassen, können Sie unter „Aussehen/Eigenes Logo“ –> „CSS-Definitionen“ die Positionierung und Gestaltung des Textes anpassen.

 

Wenn Sie Ihre gewünschte Formatierung erstellt haben und den Fragebogen erneut testen, sieht Ihr Fragebogen folgendermassen aus:

 

Sie können hier anstelle eines normalen Textes nun z.B. auch eine Verlinkung auf eine Website einfügen, indem Sie mit dem Code %LINK% arbeiten. Folgendes Beispiel zeigt, wie Sie in einem solche Fall vorgehen können:

 

Live sieht dies dann folgendermassen aus:

 

Falls Sie Hilfe bei der Gestaltung Ihres Footers benötigen, können Sie uns natürlich auch gerne jederzeit kontaktieren. Wir helfen Ihnen bei Ihren Wünschen gerne weiter und unterstützen Sie so gut wie möglich.

Redirect auf externe URL für beendete oder unterbrochene Umfragen

By Raffael Meier, CTO onlineumfragen.com in Durchführen (Teilnehmer, Versand, Feldphase), Erstellen (Fragetypen, Codes in Fragen) 0 Comment

Wenn eine Umfrage beendet oder unterbrochen ist, können Sie unter „Fragebogen“ bei „3. Schritt“ auf „Timer/Infotext“ klicken und dort weitere Einstellungen vornehmen, was genau bei einer unterbrochenen oder beendeten Umfrage angezeigt wird, falls Teilnehmende doch noch einsteigen möchten (und den Link zur Umfrage aufrufen).

Sie können zum Beispiel einen individuellen Text erfassen, der dann angezeigt wird. Zum Beispiel „Die Umfrage ist nun beendet. Vielen Dank für Ihr Interesse“.

Wenn Sie die Option „Text im Design der Umfrage anzeigen“ aktivieren, wird die Seite zudem im selben Design wie die Umfrage angezeigt (Header/Footer/Logo, etc.).

Sie können aber auch den Code

%REDIRECThttps://www.renault.deREDIRECT%

eingeben. Natürlich können Sie zwischen %REDIRECT und REDIRECT% irgendeine gültige URL angeben. Dieser Code führt dazu, dass die Seite gar nicht angezeigt wird, sondern es wird direkt ein Redirect auf die angegebene URL ausgelöst, d.h. die Teilnehmenden werden, wenn Sie den Link zur Umfrage eingeben und die Umfrage ist beendet oder unterbrochen, direkt zu der angegebenen URL umgeleitet. Dies ist zum Beispiel sehr praktisch, wenn Sie eine komplett eigene „Beendet“-Seite gestaltet und ins Internet stellen können oder Sie eine Umfrage in einer WebSite direkt eingebunden haben und die Umfrage nach Unterbruch z.B. auf eine leere Seite, einen speziellen FRAME oder die Startseite umleiten soll.

 

 

 

Smiley-Skala umpolen

By Roger Amberg in Durchführen (Teilnehmer, Versand, Feldphase) 1 Comment

Möchten Sie Ihre Umfrage mit ein paar Smileys auflockern? Dann können Sie dies ganz einfach einrichten. Wenn Sie eine neue Frage mit dem Fragentyp „Ratingskala“ oder „Tabelle“ anlegen,  können Sie wahlweise eine drei- oder fünfstufige Smiley-Textskala auswählen.

Wenn Sie nun die Skala umdrehen möchten, sprich das traurige, enttäuschte Smiley zu oberst und das fröhliche Smiley zu unterst haben möchten, ist dies folgendermassen möglich:

Richten Sie im Bearbeitungsmodus Ihrer Frage unter „Eigene Skalen“ eine eigene, texbasierte Skala ein und verwenden Sie für die unterschiedlichen Smileys die folgenden Codes:

BILDsmile_1.gif  –> lachendes, fröhliches Smiley

BILDsmile_3.gif  –> neutrales Smiley

BILDsmile_5.gif  –> trauriges, enttäuschtes Smiley.

Mit den Nummern 2 und 4 im selben Code können Sie zudem noch Zwischenstufen einrichten. Wenn Sie nun das traurige Smiley zu oberst haben möchten und das glückliche zu unterst, geben Sie Ihre gewünschte Reihenfolge beim Programmieren Ihrer eigenen Textskala wie folgt ein.

Wenn Sie möchten, können Sie Ihre neue Skala noch benennen und dann abspeichern. Wenn Sie nun auf „Änderungen vornehmen“ klicken, sehen Sie, dass sich die Smiley-Skala wie gewünscht gedreht hat.

Dasselbe können Sie nun natürlich problemlos auch mit einer fünfstufigen Smiley-Skala machen. So können Sie die Smiley-Skalen problemlos umpolen.

 

Dramaturgie eines Fragebogens

By Stephanie Brückner in Erstellen (Fragetypen, Codes in Fragen) 0 Comment

Nach welchen Regeln sollen Sie den Ablauf Ihres Fragebogen erstellen?

So verschieden Fragebögen sein können, sie weisen alle eine ähnliche Dramaturgie auf. Dabei gibt es einige Punkte zu beachten, die dem Befragten helfen die Motivation zu steigern und den Fragebogen komplett auszufüllen.

  • Die Einstiegerfrage: Die ersten Fragen im Bogen sind beinahe die Wichtigsten. Denn diese entscheiden, ob der Befragte den Bogen beantworten möchte oder nicht. Tendenziell ist die Abbruchquote am Anfang um einiges höher, als während eines Fragebogens. Aus diesem Grund sollten einfache, aber dennoch themenbezogene Fragen verwendet werden, die beim Befragten Interesse auslösen und zum weiteren Beantworten anregen. Für den Befragten muss sich der Aufwand.
    Einstiegerfragen sollten demnach:

    • spannend sein
    • themenbezogen (inhaltlich)
    • einfach formuliert sein
    • am besten sich auf den Befragten selbst beziehen
    • von allen Befragten zu beantworten sein
  • Logik des Fragebogens: Wichtig ist die Logik des Fragebogens. Diese muss von dem Befragten verstanden werden. Aus diesem Grund kann es sich lohnen, Kategorien von Fragen zu erstellen, und diese blockweise durchzuführen, wie z.B zuerst alle Fragen zum Thema Familie, dann z.B zum Thema Politik. Zwischen den Themenblöcken kann dann jeweils eine Zwischenseite eingeführt werden, in der das neue Thema kurz beschrieben wird.
  • Heikle Fragen: Heikle Fragen, die sensible Themen, wie z.B Sex, oder Geld, o.Ä. betreffen sollten eher gegen Ende des Fragebogens gestellt werden. Ansonsten wird die Abbruchquote eher hoch ausfallen. Um dennoch Antworten auf heikle Fragen zu erhalten, gibt es verschiedene Strategien:
    • Die Zielperson an die absolute Vertraulichkeit ihrer Angaben und damit die eigentliche Belanglosigkeit der Antwort erinnern
    • Den nämlichen Sachverhalt in abgeschwächter Form darzustellen oder als geläufiges, normales Verhalten darzustellen („nicht so schlimm, wenn jeder es macht“)
    • Den Sachverhalt in der Vergangenheit abfragen („als Sie ein Kind waren…“), dies schwächt die Frage wiederum ab
    • Usw.
  • Demographische Fragen: Demographische Fragen sollten eher ans Ende des Fragebogens gesetzt werden, da diese für den Befragten nicht sonderlich spannend zu beantworten sind.

 

Quelle: Porst, Rolf (2008): Fragebogen – Ein Arbeitsbuch, Wiesbaden: VS Verlag für Sozialwissenschaften.