Offene Fragen – ist es den «Aufwand» wert?

Jeder der schonmal einen Fragebogen verfasst hat, stand schon vor der Herausforderung: «Welchen Fragetyp nehme ich am besten?» Wenn man einen Fragebogen verfasst, ist nicht nur der Inhalt der gestellten Fragen von enormer Bedeutung, auch der Fragetyp spielt eine wichtige Rolle. Die Forschung der Kognitionspsychologie hat verdeutlicht, dass die Entscheidung für eine geschlossene oder offene Frage das Ergebnis erheblich beeinflusst. Nun stellt sich die Frage, welche dieser Fragetypen man denn am besten verwendet, um die bestmöglichen Ergebnisse aus der Befragung zu bekommen. Tatsächlich ist diese Frage so alt wie Umfragenforschung selbst und bis heute bleibt sie ohne richtige Lösung. Die kognitive Fähigkeit, die bei offenen Fragen verlangt wird, unterscheidet sich äusserst von der, die bei geschlossenen Fragen verlangt wird. Bei offenen Fragen muss der Befragte den Rahmen für die Antwort selbst schätzen, während sich bei geschlossenen Fragen der Rahmen ableiten lässt (Porst, 2014).

Offene Fragen

Bei offenen Fragen ist ein eindeutiger Stimulus durch den Fragetext vorgegeben, jedoch keine Antworten. Die Befragten sind völlig frei in ihrer Formulierung und wie weit sie für die Antwort ausholen möchten (Reinders, 2011) . Da dieser Fragetyp mehr Zeit beansprucht, sollte man ihn nicht zu häufig verwenden, weil das Auswirkungen auf die Motivation hat, den Fragebogen weiter auszufüllen. Auf der anderen Seite kann eine offene Frage die Motivation aber auch steigern, weil man sich einfach mal alles „von der Seele“ schreiben kann. Offene Fragen werden insbesondere deshalb von den Personen ausgefüllt, die ein hohes Interesse an der Befragung haben (Föhl und Friedrich, 2022).

Der Aufwand der Auswertung ist um einiges höher als bei geschlossenen Fragen und ein Vergleich der Antworten war lange Zeit nur schwer machbar. Mittlerweile gibt es hierfür sehr nützliche Tools, die eine Auswertung enorm erleichtern und sehr wertvolle Ergebnisse liefern.

Die Fragen geben durch einen Antwortkasten unter der Frage vor, wo die Antwort eingetragen werden soll. Durch die Vorgabe von mehreren Textfeldern kann eine Antwort schon vorstrukturiert werden. Wenn man zum Beispiel nach drei Eigenschaften zu etwas fragt, kann man drei kleinere Textfelder vorgeben und gibt dem Befragten eben diese gewisse Struktur (Föhl und Friedrich, 2022). Dabei hängt die Qualität dieser Antworten enorm von der Verbalisierungsfähigkeit der befragten Person ab. Dies verlangt eine höhere kognitive Beanspruchung an den Befragten (Porst, 2014).

Bei offenen Fragen ist es wichtig darauf zu achten, dass der Befragte genau versteht, was in der Antwort von ihm erwartet wird. Dabei ist nicht nur gemeint, welchen Rahmen die Antwort haben soll, sondern auch, wie Umfangreich geantwortet werden soll. Hier ist es Sinnvoll mit Hinweisen wie „nur Stichwörter“ oder „eine kurze Beschreibung“ zu arbeiten (Menold und Züll, 2019).

Häufig lohnen sich offene Fragen als letzte Frage in einem Fragebogen. Oft haben die Befragten am Ende noch wichtige, kritische oder auch positive Anmerkungen bezüglich des Fragebogens oder zum Thema der Befragung. Hierbei ist es wichtig dem Befragten das Gefühl zu vermitteln: «Ihre Meinung zählt! ».

Auch wenn es viel Arbeit scheint, jede Antwort zu einer offenen Frage durchzulesen, ist dies extrem wichtig, um das eigene Produkt, den eigenen Service oder je nachdem um was es in der Umfrage ging, voranzutreiben. Hier offenbaren sich oft Erfahrungen oder Meinungen, die alleine durch geschlossene Fragen, niemals ans Licht gekommen wären. Und auch wenn Ihnen eine Auswertung aller Antworten zu mühsam scheint, können Sie sich einfach die Ihrer Ansicht nach wichtigsten Zitate heraussuchen, und diese in Ihrem Ergebnisbericht vorstellen. Wie Sie die Zitate kostenfrei aus unserem Tool herunterladen können, erfahren Sie unter dem Punkt «Auswertungsansätze für offene Fragen».

Beispiel einer offenen Frage in unserem Tool.

Wie erstellt man eine offene Frage mit unserem Tool?

Der erste Schritt eine offene Frage in unserem Tool zu erstellen, ist zunächst eine neue Frage zu erstellen.

Als nächstes geben Sie Ihre Frage in das obige Feld ein und wählen den Antworttyp «offenes Textfeld» aus.

Am Schluss sollte Ihre Frage dann so aussehen:

Halboffene Fragen

Bei halboffenen Fragen werden die Merkmale offener und geschlossener Fragen miteinander verknüpft. Das heisst, dass neben den vorgegebenen Antwortkategorien, mindestens ein Feld für eine freie Antwortmöglichkeit ergänzt wird. Diese wird beispielsweise oft «Sonstiges: » oder «Anderes: » genannt (Reinders, 2022). Findet der Befragte sich also in keiner der vorgegeben Antwortmöglichkeiten wieder, beantwortet er diese Frage bei der freien Antwortmöglichkeit wie eine Offene. Dieser Fragetyp eignet sich immer dann gut, wenn das tatsächliche Universum möglicher Antworten zwar abgeschätzt werden kann, aber nicht definitiv bestimmbar ist. Eine halboffene Frage trägt dazu bei, die Motivation des Befragten aufrecht zu erhalten, da man nicht das Gefühl bekommt, man passe nicht in die Zielgruppe (Porst, 2014).

Wie erstellt man eine halboffene Frage mit unserem Tool?

Auch hier muss zunächst eine neue Frage erstellt werden. Dann wird der Antworttyp «Single-/Multiple-Choice/Dropdown» angewählt und die Frage ins obige Feld eingegeben.

Im nächsten Schritt werden die einzelnen Antwortoptionen erfasst und die Antwortoption mit offenem Textfeld. Das macht man indem man nach der Option, in diesem Beispiel «Andere, und zwar:», den Code «!!TEXT» hinten anstellt.

Am Ende sollte Ihre Frage dann so aussehen:

Auswertungsansätze für offene Fragen

Offene Fragen wurde lange gemieden, da die gesamte Datenmenge erst aufwendig codiert werden muss, bevor man sie Auswerten kann (Menold und Züll, 2019). Dies führte dazu, dass die Antworten zwar erhoben wurden aber nur ein paar wenige interessante Zitate beachtet wurden. Im Folgenden werden einige Analyse Ansätze vorgestellt die das Auswerten von offenen Fragen erleichtern und wie Sie aus allen Antworten etwas herausholen können. So können Sie den Herausforderungen offener Fragen Rechnung tragen und dennoch von deren grossen Mehrwert profitieren.

Zitate aus unserem Tool herunterladen

Sie können ganz einfach und kostenfrei die offenen Antworten der Befragten direkt aus dem Tool herunterladen und für Ihren eigenen Ergebnisreport verwenden. Diese Funktion finden Sie unter dem Menüpunkt «Auswertung».

Qualitative Inhaltsanalyse

Bei der qualitativen Inhaltsanalyse handelt es sich um eine klassische Auswertungsmethode. Hierbei werden die offenen Antworten durch einen oder mehrere Codierer, nach der Vorgabe eines Kategorieschemas, codiert. Jede Kategorie dieses Schemas beinhaltet einen Bedeutungsaspekt des zu codierenden Materials. Dieser wird durch Beispiele aus dem Datenmaterial beschrieben (Menold und Züll, 2019).

Das Kategorienschema kann entweder deduktiv, also theoriegeleitet oder induktiv, also aus dem erhobenen Text heraus, erfolgen.  Beim Erstellen des Kategorieschemas sollte darauf geachtet werden, dass die Kategorien mit den Zielen der Forschungsfrage zusammenpassen, dass sie klar voneinander getrennt sind und dass sie klar eindeutig sind. Nachdem man das Schema erstellt hat, folgt eine erste Probecodierung nach der das Schema, falls nötig, nochmal angepasst werden kann (Menold und Züll, 2019).

Nachdem die Codierung durchgeführt wurde, muss dessen Reliabilität geprüft werden. Hierzu wird eine Stichprobe des Datenmaterials von einem zweiten Codierer codiert und das Reliabilitätsmass gemessen. Hierfür gibt es verschiedene Masse, beispielsweise die Verhältnismasse, Cohen’s Kappa, Scott’s Pi oder Krippendorf ’s Alpha (Menold und Züll, 2019).

Dieses Mass wird zur Aussage über die Qualität der Codierung genutzt. Weisst die Codierung eine geringe Reliabilität auf, muss das Kategorienschema neu überarbeitet werden und die Codierung nochmal durchgeführt werden. Deshalb empfiehlt es sich, die Reliabilitätsmessung vorzunehmen, bevor die gesamte Datenmenge codiert wird (Menold und Züll, 2019). Cohen’s Kappa gilt als die statistische Methode, die bei Auswertungen von Übereinstimmungen zwischen den verschiedenen Codierern, am meisten genutzt wird. Es misst den Anteil der rein zufallskorrigierten Übereinstimmungen der Codierer (Grouven et al, 2007).

Qualitative Inhaltsanalyse in unserem Tool

In unserem Tool ist es durch eine Investition von 1490 Euro im Jahr möglich, eine qualitative Inhaltsanalyse von unseren geschulten Mitarbeiter durchführen zu lassen. Hier werden die Antworten der Befragten durch uns codiert und für Sie ausgewertet. Die Ergebnisse können Sie dann beispielsweise an einem Balkendiagramm ablesen. Sollten Sie Interesse an diesem Auswertungsverfahren haben, kommen Sie gerne auf uns zu. Ein Anruf oder eine Mail genügt und wir unterstützen Sie dabei, die bestmöglichen Ergebnisse aus Ihrer Umfrage herauszuholen.

Computergestützte Inhaltsanalyse

Bei der computergestützten Inhaltsanalyse basiert die Codierung auf einem inhaltsanalytischen Diktionär/Wörterbuch. Hier werden spezielle Computerprogramme für die Codierung herangezogen. Dieses Wörterbuch enthält Codierregeln in Form von Wortlisten und entspricht dem Kategorieschema der qualitativen Inhaltsanalyse. Hierbei werden Phrasen und Wörter, die als eindeutige Indikatoren für eine Kategorie gelten, definiert.

Das Programm gibt diesen Wörtern und Phrasen dann einen Code. Um die Auswertung einfacher zu gestalten, sollten positive und negative Einstellungen getrennt abgefragt werden. Auch hier wird eine Stichprobe der Datenmenge von menschlicher Hand codiert und mit dem Programm verglichen. Der Nachteil dieser Methode ist allerdings, dass das Computerprogramm nicht in der Lage ist, mehrdeutige oder aus dem Kontext gerissene Begriffe zu erkennen (Menold und Züll, 2019).

Sonstige Ansätze

Es gibt bereits versuche, Codierungen mit halbautomatischen Verfahren durchzuführen. Giorgetti und Sebastiani haben hierzu das «supervised machine learning» entworfen. Dieses Programm lernt auf Basis von Textbeispielen die per Hand codiert wurden und kann dann andere Texte, auf Basis dieses Beispiels, codieren (Menold und Züll, 2019). Des weiteren kann man auch sogenannte Wordclouds, Management Summaries oder informelle Auswertungen vornehmen.

Fazit

Zusammenfassend lässt sich sagen, dass es keine Antwort darauf gibt, welcher Fragetyp am besten ist. Bei der Entscheidung ist es natürlich hilfreich die oben aufgelisteten Informationen in Betracht zu ziehen.

Geschlossene Frage sollte man laut Rolf Porst (2014) immer dann verwenden, wenn man das Universum der Antwortkategorie zu seiner gewünschten Frage genau benennen kann. Oft ist dies aber schwieriger als gedacht. Wenn Sie nun mal, ganz beispielhaft, an die Frage denken: „Was machen Sie in Ihrer Freizeit am liebsten?“ Können Sie alle möglichen Antwortkategorien benennen? Wahrscheinlich ist Ihre Antwort „Nein“. Hier sollte das Stigma der „aufwändigen“ offenen Frage abgelegt werden und öfters zu diesem Fragetyp gegriffen werden. Vor allem mit den Auswertungsmöglichkeiten, die uns heutzutage zu Verfügung stehen, ist die Offene Frage ein sehr wertvoller Fragetyp. Sollten Sie dennoch nicht die Zeit aufwenden wollen, alle Antworten einer offenen Frage durchlesen zu wollen, ist der halboffene Fragetyp die optimale alternative.

Literatur

Friedrich, U. F. C. (2022). Quick Guide Onlinefragebogen. Wie Sie Ihre Zielgruppe professionell im Web befragen. Springer Fachmedien Wiesbaden GmbH.

Grouven, U., Bender, R., Ziegler, A., & Lange, S. (2007). Der Kappa-Koeffizient [The kappa coefficient]. Deutsche medizinische Wochenschrift (1946)132 Suppl 1, e65–e68. https://doi.org/10.1055/s-2007-959046

Porst, R. (2011). Fragebogen: Ein Arbeitsbuch (3rd ed.). VS Verlag für Sozialwissenschaften.

Reinders, H., Ditton, H., Grasel, C., & Gniewosz, B. (Eds.). (2011). Empirische Bildungsforschung: Strukturen Und Methoden. Vs Verlag Fur Sozialwissenschaften.

Züll, C., & Menold, N. (2022). Offene Fragen. In Handbuch Methoden der empirischen Sozialforschung (pp. 1127–1134). Springer Fachmedien Wiesbaden.

Speeder, Musterankreuzer und Straightliner: Verschmutzte Daten und wie man Ihnen entgegenwirken kann

Onlinebefragungen bringen viele ökonomische Vorteile mit sich: Sie sind vergleichsweise kostengünstig, zeitsparend und angenehm auszuwerten. Aber auch aus methodologischer Sicht haben Sie anderen Befragungsmethoden gegenüber die Nase vorn: Interviewereinflüsse fallen weg und auch die Auswirkungen von sozialer Erwünschtheit auf das Antwortverhalten können erfolgreich minimiert werden. Kein Wunder, dass dieser Befragungsmodus in den letzten Jahren an enormer Beliebtheit gewonnen hat.

Allerdings bringt der hohe Grad an (empfundener) Anonymität in der typischen Onlinebefragung auch einige Probleme mit sich: Teilnehmer fühlen sich bei schriftlichen (Online)Befragungen weniger verpflichtet den Fragebogen gewissenhaft auszufüllen, als wenn Ihnen beispielsweise ein Interviewer gegenübersitzt oder am Telefon zuhört. Dadurch erhöht sich auch die Tendenz zum Ankreuzen von falschen oder willkürlichen Antworten, insbesondere dann, wenn die Teilnehmer zum Ausfüllen des Fragebogens verpflichtet werden oder am Ende der Befragung ein attraktiver Incentive (z.B. Gutschein, Verlosung) wartet. Solches Verhalten – wahlloses- oder Muster-Ankreuzen, sowie die systematische Wahl einer spezifischen Antwortmöglichkeit– verschmutzt die Daten und kann zu Verzerrungen in den Auswertungen führen. Die ist vor allem dann besonders problematisch, wenn die Rücklaufzahl insgesamt eher gering oder der Anteil der verschmutzten Rückläufe hoch ist.

Inhaltsabhängiges vs. Inhaltsunabhängiges verschmutzendes Verhalten

Wenn man von verschmutzten oder verzerrten Daten spricht, kann man grundsätzlich zwischen zwei Arten von potentiellen Ursachen für dieses Verhalten unterscheiden: Ursachen, die aus dem Inhalt des Fragebogens entstammen (inhaltsabhängiges Verhalten), und Ursachen welche unabhängig vom Befragungsinhalt auftreten und somit vom Teilnehmer selbst ausgehen (inhaltsunabhängiges Verhalten).

Bekannte Beispiele von Ursachen für inhaltsabhängiges verschmutzendes Verhalten sind beispielsweise Reihenfolgeeffekte, Suggestivfragen oder nicht-ausbalancierte Skalen. Um diesen Arten von Effekten entgegen zu wirken, wurden durch die Methodenforschung zahlreiche Standardregeln entwickelt, die bei der Gestaltung von Befragungen eingehalten werden sollen. Eine gute Zusammenstellung dieser Regeln sowie auch der verschiedenen Ursachen finden Sie beispielsweise in Rolf Porst (2013) «Fragebogen – Ein Arbeitsbuch».

Hauptthema dieses Blogbeitrags ist jedoch jenes Verhalten, welches weitaus weniger erforscht und komplexer auszumerzen ist: das inhaltsunabhängige verschmutzende Verhalten. Als Durchführer/in einer Onlinebefragung haben Sie im Normalfall keinen Einfluss auf das Verhalten und die Prädisposition des Teilnehmers, der zu Hause vor dem Bildschirm sitzt und Ihre Umfrage ausfüllt. Dennoch gibt es eine Handvoll Techniken, die es Ihnen erlauben, den Grad der Verzerrung durch diese Art von Verhalten zu minimieren.

Response Sets

Mit Response-Set wird ein Muster in der Beantwortung von Fragebatterien gemeint, welches unabhängig vom Inhalt der Frage oder des Fragekontexts auftritt. Solche Muster können in verschiedenen Formen auftreten. Die häufigsten dieser Formen sind dabei:

  1. Response Range: Ein Teilnehmer verwendet unabhängig vom Inhalt der Frage oder der Ausrichtung der Antwortvorgaben immer nur einen bestimmten Bereich der Skala.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage den ersten oder zweiten Skalenpunkt resp. die erste oder zweite Antwortmöglichkeit an – unabhängig von der Polung (Ausrichtung) der Skala oder der Anzahl möglicher Antworten (Abstufungen). Innerhalb einer Tabellenfrage könnte dies Beispielsweise so aussehen:

  2. Extreme Checking Style: Ein Teilnehmer kreuzt abwechselnd den linken und den rechten Extrempunkt der Skala an.
    Beispiel: Bei Frage 1 wählt der Teilnehmer die erste (oder auf einer Likert-Skala, die am weitesten links liegende) Antwortmöglichkeit, bei Frage 2 die Letzte (am weitesten rechts), bei Frage 3 wieder die Erste (Links), bei Frage 4 die Letzte (Rechts), etc.

  3. Muster-Ankreuzer: Wenn man das Antwortbild einer Tabellenfrage (z.B. Fragetypen «Tabelle Multi-Rating«, «Tabelle Multiple-Choice» oder «Freie Matrix» unseres Tools) betrachtet, lassen sich Muster, wie beispielsweise Diagonalen oder Pfeile, finden.
    Beispiel:
  4. Straightliner: Teilnehmende weisen ein sogenanntes Null-Varianz Antwortverhalten auf, d.h. Sie kreuzen immer dieselbe Antwort an, unabhängig von der Anzahl Antwortmöglichkeiten oder der Polung der Skala. Besonders oft wird die durchgängige Wahl des mittleren Skalenpunktes («Centrism») oder eines Extremwerts («Extremism») beobachtet.
    Beispiel: Ein Teilnehmer wählt bei jeder Frage die erste Antwortoption aus («Extremism)».

Grundsätzlich sind alle Formen von Response-Sets sowohl zwischen als auch innerhalb von Fragen mit mehreren bewertbaren Items auffindbar. Allerdings sind Straightliner und Muster-Ankreuzer tendenziell eher innerhalb einer Tabellenfrage anzutreffen.

Folgen

Besonders Straightliner sind bei unmotivierten Teilnehmern beliebt. Studien ergeben, dass bei einer offenen Onlinebefragung jeder vierte Teilnehmer mindestens eine von neun ausgewählten Fragen mit Null-Varianz Antwortverhalten beantwortet hat (Jandura, 2018). Doch wie schwerwiegend sind die Folgen von Response-Sets für die Datenqualität und Auswertungen?

Für viele der gängigen statistischen Auswertungen sind die Auswirkungen glücklicherweise gering. Gerade bei Häufigkeitsauszählungen (OU-Standardauswertung), Mittelwerten, einfachen Streuungsmassen oder Korrelationsmassen werden nur marginale Effekte nachgewiesen. Allerdings wächst die Differenz zwischen den Ergebnissen mit und ohne Teilnehmer mit Response-Sets mit dem Anteil der Befragten, die auf solches verschmutzendes Verhalten zurückgreifen.
Aus diesem Grund sollte man sich auch bei solchen Auswertungen Gedanken darüber machen, ob und in welchem Ausmass verschmutzendes Verhalten vorliegen könnte und wie damit umgegangen werden soll.

Stark problematisch werden durch Response-Sets verschmutzte Daten jedoch bei Analysen, die sich an der Ähnlichkeit von Antworten orientieren. Dazu gehört allen voran die Cluster-Analyse (z.B. Chi-Quadrat, Jaccard-Koeffizient, oder Pearson Korrelationskoeffizient), welche beispielsweise bei Zielgruppen- oder Zusammenhangsanalysen eingesetzt werden. Auch in unserem Tool können solche Analysen mittels der Auswertungsfunktion «Chi-Quadrat-Mehrfeldertest mit Kreuztabelle (für nominale Items) / Signifikanz / Pearson / Cramer)» vorgenommen werden.

Wenn davon ausgegangen werden muss, dass Teilnehmer mit Response-Sets vorhanden sind und diese die Auswertungen bedeutend verzerren, muss vor den Auswertungen eine Datensatzbereinigung vorgenommen werden. Bei dieser Bereinigung werden verschmutzte Rückläufe aus dem Datensatz gelöscht oder zumindest von der Auswertung ausgeschlossen (z.B. über die Superfilter-Funktion unseres Onlinetools).

Identifikation & Datensatzbereinigung

Es gibt verschiedene Arten um verschmutzendes Verhalten zu identifizieren. Die meisten Strategien beziehen sich dabei auf die Identifizierung nach der Messung, d.h. nachdem die Feldphase der Befragung beendet wurde und der Datensatz vorliegt. Allerdings gibt es auch einige Möglichkeiten, bereits bei der Gestaltung des Fragebogens Mechanismen einzubauen, die die Identifizierung von Response-Sets vereinfachen.

Zu diesen Mechanismen gehören sogenannte Aufmerksamkeitstests, die überprüfen ob die Aufgaben sorgfältig gelesen und ausgefüllt werden. Beispielsweise können in der Frageformulierung unübliche Anweisungen gegeben werden («Kreuzen Sie die nachfolgende Checkbox nicht an, wenn Sie dies gelesen haben»). Eine zweite gängige Technik sind umgepolte (umgedrehte) Skalen (z.B. wenn «sehr gut» plötzlich nicht mehr am linken sondern am rechten Ende der Skala aufzufinden ist) oder Fallen, die widersprüchliches Verhalten aufdecken. Beispielsweise kann ein Produkt, von dem der Teilnehmer in einer früheren Frage angegeben hat, dass er es nicht kennt, trotzdem in Folgefragen mitangezeigt werden. Falls der Teilnehmer dann dieses Produkt trotzdem bewertet statt «Kenne ich nicht» anzuwählen,  widerspricht er sich selbst, was darauf hindeutet, dass eine der beiden Fragen nicht korrekt gelesen oder einfach willkürlich geantwortet wurde.

Für die Identifikation der Response-Sets im Datensatz, d.h. nach Ende der Befragung, schlägt die Methodenliteratur verschiedene Verfahren vor:

  1. Response Range: Vergleich der Standardabweichung über alle Items. Geringe Standardabweichungen weisen auf die Verwendung von Response Range hin.
  2. Straightliner: Teilen der Anzahl Male, die eine Antwortmöglichkeit (z.B. die erste Antwortmöglichkeit) gewählt wurde, durch die Anzahl der Items dieser Tabellenfrage (z.B. 5x die erste Antwortkategorie / 6 Items = 0.83) oder die Gesamtzahl Fragen im Fragebogen. Wenn der Quotient 1 beträgt, liegt Nullvarianz im Antwortverhalten vor.
  3. Extreme Checking Style: Auch hier ist der für die Straightliner unter 2. beschriebene Quotient ein guter Indikator. Wenn Extreme Checkying Style vorliegt, beträgt dieser für alle Antwortkategorien, mit Ausnahme der Extrempunkte (erste und letzte Antwortmöglichkeit), null. Für die Extrempunkte sollte ein Quotient von etwa 0.5 vorliegen.
  4. Muster-Ankreuzer: Eine anerkannte «einfache» Methode, wie bei den anderen Response-Sets, gibt es hier leider nicht.
    Wir empfehlen die Antwortzeiten für die jeweilige Tabellenfrage zu untersuchen und darin die Speeder (Befragte, deren Antwortzeit für diese Frage weniger als die Hälfte des Medians der Antwortzeit für diese Frage beträgt) zu identifizieren. Über die Funktion «Ausgefüllte (einzelne) Fragebogen anzeigen/ausdrucken («Originale» aller Teilnehmer)» unseres Tools, lassen sich anschliessend die Fragebögen der ausgewählten Teilnehmer anzeigen und einzeln von Auge auf Muster überprüfen.

Der komplette Ausschluss von Speedern von der Auswertung, ist übrigens ein Verfahren, dass in der Marktforschung regelmässig angewandt wird, um die Qualität des Datensatzes zu verbessern. Wir empfehlen jedoch, nicht blind nach der Regel «Alles, was unter der Hälfte des Medians der Bearbeitsungszeit ist, ausschliessen» vorzugehen. Gerade bei Fragebögen mit Pfaden oder Sprüngen kann die Ausfüllzeit je nach persönlicher Pfadführung dramatisch variieren. Viel mehr sollte auf den Kontext der Befragung und die Zielgruppe geachtet werden.

So empfiehlt sich das Entfernen von Speedern grundsätzlich bei Panelbefragungen, Pflichtbefragungen oder Befragungen, die öffentlich publiziert werden und einen attraktiven Incentive bieten. Weniger häufig auftreten sollten Speeder bei Befragungen von ausgewählten Gruppen wie beispielsweise Mitarbeitern oder Kunden mit engem Kontakt.

Gültige Straightliner: Nullvarianz-Antwortverhalten als Ausdruck von Validität und Reliabilität der Umfrage

Mit ihrem Artikel «Valid vs. Invalid Straightlining: The Complex Relationship Between Straightlining and Data Quality» beleuchten Kevin Reuning und Eric Plutzer einen interessanten zweiten Blickwinkel auf das Thema «Straightliner»: Gültige Straightliner als Ausdruck der Konsistenz von Itembatterien— ein Zeichen guter Datenqualität statt verschmutzter Daten.

Die Autoren argumentieren, dass in vielen gängigen Umfrageformaten ein Nullvarianz-Antwortverhalten durchaus plausibel ist. Beispielsweise sollten Teilnehmende, die nie Erfahrung mit Mobbing gemacht haben, eine Reihe an Fragen zur Erfahrung mit verschiedenen Arten von Schikanen konsequent mit «nie» beantworten.

Es ist demnach zu erwarten, dass eine Itembatterie, deren Skala das gewünschte unterliegende Merkmal mit hoher Genauigkeit misst (hohe Reliabilität und Validität), bei gewissenhaften Teilnehmenden zu einem Nullvarianz-Antwortverhalten führt, sofern die Items allesamt in dieselbe Richtung formuliert sind.

Reuning und Plutzer postulieren, dass gültiges Straightlining dann auftritt, wenn (1) Teilnehmende motiviert sind, Fragen und Antworten gewissenhaft durchzulesen und ehrlich zu beantworten und (2) daraus identische Angaben zu einer Reihe von Fragen resultieren.

In einer Reihe von Simulationen untersuchen die Autoren die Einflüsse von Validität und Reliabilität auf das Aufkommen von gültigen Straightlinern, sowie deren Auswirkung auf Auswertungen, speziell bei Regressionsanalysen.
Sie stellen fest, dass die Menge an gültigen Straightlinern mit der Validität und Reliabilität des Fragebogens und somit mit der Datenqualität steigt. Zudem ergeben Ihre Simulationen, dass das Entfernen von gültigen Straightlinern zu einer Art «Sample Selection Bias» (Stichprobenverzerrung) führt und somit die Ergebnisse von Analysen verfälscht.

Was bedeuten diese Findings nun für Ihre Umfrage und den Umgang mit Straightlinern? Grundsätzlich lassen sich aus dem Artikel zwei Hinweise für die Fragebogengestaltung und Datensatzbereinigung ableiten:

  1. Fragebogengestaltung: Bauen Sie nach Möglichkeit umgekehrt gerichtete Items in Ihre Tabellenfragen ein. Reuning und Plutzers Simulationen ergeben, dass bereits das Integrieren einer einzigen umgekehrt gerichteten Frage in eine Itembatterie bis zu 98% der gültigen Straightliner entfernt. Einzig bei Skalen mit einer Mittelkategorie, bei der eine grosse Menge der Teilnehmenden Ihre Einschätzung im Skalenmittelpunkt abgeben, büsst der Ausschluss von gültigen Straightlinern durch ein umgekehrt gerichtetes Item an Effektivität ein.
  2. Datensatzbereinigung: Das Entfernen von sämtlichen Straightlinern kann zu Stichprobenverzerrung führen. Daher sollte bei der Datensatzbereinigung überprüft werden, ob bei den betroffenen Skalen und Itembatterien ein gültiges Straightlining denkbar wäre. Zudem können weitere Kriterien (wie beispielsweise die Bearbeitungszeit der betroffenen Frage, sowie das Antwortverhalten bei ähnlichen Fragen) Hinweise darauf liefern, ob ein Straightliner durch gewissenhaftes Beantworten oder verschmutzendes Verhalten entstanden ist.

Unterstützung

Sie sind sich unsicher, ob Response Sets bei Ihrem Befragungsprojekt ein Problem darstellen oder benötigen Hilfe beim Bereinigen Ihres Datensatzes? Nehmen Sie Kontakt mit uns auf! Unsere Mitarbeiter unterstützen und beraten Sie gerne zu diesem Thema!

Literatur

Porst, Rolf (2013). Fragebogen – Ein Arbeitsbuch. Wiesbaden: Springer Fachmedien GmbH.

Jandura, Olaf (2018). «Fake Data?» in: Rössler, Patrick & Rossmann, Constanze (Hrsg.). Kumulierte Evidenzen. Seiten 207-223.

Reuning, K. & Plutzer, E. (2020). Valid vs. Invalid Straightlining: The Complex Relationship Between Straightlining and Data Quality. Survey Research Methods, 14(5), 439-459.

Rundungsfehler in Standardauswertung

Ein häufiges Phänomen in Auswertungen mit %-Werten ist, dass die %-Werte in Summe nicht 100% ergeben, sondern 99%, 98%, 101%, 102% oder sogar noch mehr oder weniger. Als erster Inpuls fasst man schnell den Gedanken: «da kann etwas nicht stimmen!». «Rechnet das System falsch?» oder «OU rechnet falsch».

Es gibt aber wie man so schön sagt «…für alles eine natürliche Erklärung» 😉

Das Phänomen ist nämlich normal, weil es sich um gerundete Zahlen handelt.

Als Beispiel ergeben die 88% und 13% in nachfolgender Standardauswertung aus dem onlineumfragen.com-System (unter «Auswertung > Standardauswertung») total stolze 101%.

2017-03-07_01-12-28

Wenn wir die selbe Frage unter «Auswertung > Tabellenbände I» anschauen, sehen wir die exakten %-Werte von 87,5 und 12,5. Beides ergibt gerundet auf Ganzzahlen mathematisch korrekterweise 88 und 13%, total also 101%.

2017-03-07_01-07-33

Das Phänomen ist bekannt und in sehr vielen Statistiken ganz richtig anzutreffen (manchmal auch 99% statt 100%).

Es gibt krasse Fälle, wenn zum Beispiel eine Frage 167 Antwortvorgaben enthält und davon 166 Antwortvorgaben mit je 0,6% bewertet sind und eine mit 0,4. Dann haben wir gerundet 166 Antwortvorgaben mit je 1% und eine mit 0%, d.h. also total 166% – was absolut korrekt ist!

Es gibt Institute, die hier «von Hand frisieren», was wissenschaftlich sehr fragwürdig ist. Am besten, man weisst auf den Umstand der Rundung hin oder zeigt die Zahlen mit einer oder zwei Kommastellen (was auch dann nicht ganz genau 100,00% ergibt! Weil z.B. 1/3 = 0,333333, d.h. auch 100,00 ist gerundet).

Ein paar Links zu dem Problem:

http://www.statistik-tutorial.de/forum/ftopic4303.html

http://oooforum.de/viewtopic.php?t=42760

http://forum.chip.de/office/brauche-hilfe-runden-prozent-1411923.html

 

CUSTOMFORMAT – Eigene CSS für stellenweise Formate verwenden

Mit %FETT … FETT% und ähnlichen Steuercodes können Sie Textformate punktuell in Fragen, Antwortvorgaben, Vorwort und vielen anderen Systemtexten einfügen.

Sie können aber auch via CSS völlig eigene Formate definieren (Farben, Abstände, Formen, Schriftarten, etc.) und diese ebenso stellenweise einbauen. Dies funktioniert mit dem Code %CUSTOMFORMAT1 … CUSTOMFORMAT1%

oder

%CUSTOMFORMAT2 … CUSTOMFORMAT2%

oder

%CUSTOMFORMAT3 … CUSTOMFORMAT3%

usw.

Sie brauchen diesen nur in der Frage zu verwenden:

2016-11-08_16-52-32

Und dann unter «Fragebogen > Aussehen/Eigenes Logo» und dort unter «Eigene CSS» zu definieren. Zum Beispiel so (alles in der Klammer ist die CSS-Definition):

2016-11-08_16-53-51

Das sieht dann live so aus, wenn Sie den Fragebogen unter «Fragebogen > Ganzen Fragebogen testen» anschauen.

2016-11-08_16-54-11

Live dann voilà:

2016-11-08_16-54-36

 

 

Eigene Farbschemata für Standardauswertung

Für die Standardauswertung unter «Auswertung > Häufigkeitsverteilung (Standardauswertung) – alle Fragen» können Sie nebst den vorhandenen Farbschemata auch bis zu drei eigene Farbschemata erstellen.

Klicken Sie dazu unter «Auswertung > Häufigkeitsverteilung (Standardauswertung) – alle Fragen» einfach neben der Optionsbox «Farbschema» auf das kleine Icon, um die Farbschemata zu bearbeiten.

21-02-2015 05-32-39

Sie sehen dann die maximal drei eigenen Farbschemata mit Feldern, mit denen Sie Ihre Wunschfarben für jedes Schema festlegen können. Sollten Sie genügend Farben für ein Schema definiert haben, lassen Sie die restlichen Felder einfach leer (kein Wert erfassen oder vorhandenen Wert mit der ENTF-Taste oder DEL-Taste löschen).

Sollten in Ihren Auswertungen irgendwo mehr Werte verwendet werden müssen, als Sie definiert haben, wiederholt sich die Skala einfach wieder von vorne, d.h. es wird z.B. für die zehnte Farbe einfach wieder die erste genommen usw., wenn Sie nur 9 Farben definiert haben.

21-02-2015 05-33-53

Sie können dann auf jede Farbe klicken, um mit einer umfangreichen Farb-Selektions-Box Ihre Farbe entweder intuitiv auszuwählen oder mit HEX-Werten oder RGB-Werten einzugeben. Diese Werte erhalten Sie ggf. von Ihrer Grafik- oder Marketingsabteilung.

21-02-2015 05-34-12

Die Farbschemata können dann jederzeit unter «Eigene 1», «Eigene 2» und «Eigene 3» aufgerufen werden.

Das sieht dann zum Beispiel so aus:

21-02-2015 05-35-39

 

SPSS – Zusatzzeilen: zwei Werte in der selben Variablen auf zwei Variablen auftrennen (Split Variable)

Im SPSS-Export werden als Ausnahme wegen der kompakten Form und der Technik der internen Speichern bei onlineumfragen.com Werte und Texte in Tabellenfragen mit Zusatzzeilen (z.B. «Andere: ____ O1  O2  O3  O4  O5») in einer Variablen gemeinsam gespeichert, und zwar in der Form:
dies ist der eingegebene Text,4

«dies ist der eingegebene Text» ist dann der Text, der von den Teilnehmenden eingegeben wurde und die «4» heisst, dass in der Skala der 4. Radiobutton ausgewählt wurde (entspricht der üblichen Codierung wie bei den oberen normalen Zeilen/Items).

Wie können bei Bedarf nun diese Zellen mit zwei Werten in zwei Zellen mit jeweils einem Wert aufgesplittet werden?

Die SPSS-Syntax dazu lautet anhand einem Beispiel für die Variable 14, die den Text «hallo,5» enthält:

STRING V14UT1splittext (A100).
IF (CHAR.INDEX(v14UT1,',') >= 1) V14UT1splittext=CHAR.SUBSTR(v14UT1,1,CHAR.INDEX(v14UT1,',')-1).
EXECUTE.
STRING V14UT1splitwert (A100).
IF (CHAR.INDEX(v14UT1,',') >= 1) V14UT1splitwert=CHAR.SUBSTR(v14UT1,CHAR.INDEX(v14UT1,',')).
EXECUTE.

Es werden dadurch zwei neue Variablen erzeugt, die Variable V14UT1splittext, die den Text enthält (im Beispiel «hallo»), und die Variable V14UT1splitwert, die den Wert enthält (hier «5»). Dies kann dann mit allen Variablen durchgeführt werden, die kombiniert gespeichert sind. Die Variablennamen müssen dann jeweils händisch abgepasst werden. Zu den Anweisungen noch im Detail:

STRING V14UT1splittext (A100).

Richtet die neue Variable V14UT1splittext als String-Variable (Texte) ein.

IF (CHAR.INDEX(v14UT1,',') >= 1) V14UT1splittext=CHAR.SUBSTR(v14UT1,1,CHAR.INDEX(v14UT1,',')-1).

Erzeugt in die neue Variable aus der bestehenden Variablen V14UT1 alles, was vor dem Komma steht.

STRING V14UT1splitwert (A100).

Richtet die neue Variable V14UT1splitwert als String-Variable (Texte) ein.

IF (CHAR.INDEX(v14UT1,',') >= 1) V14UT1splitwert=CHAR.SUBSTR(v14UT1,CHAR.INDEX(v14UT1,',')).

Erzeugt in die neue Variable aus der bestehenden Variablen V14UT1 alles, was nach dem Komma steht.

EXECUTE

…führt den Befehl jeweils aus.

 

Usability-Optimierung: Warnung im Menü «Teilnehmer» bei Sprachversionen

In der Vergangenheit hatten wir ab und zu Unterstützung zu leisten, wenn Kunden mit mehrsprachigen Umfragen aus Versehen oder (natürlich unverschuldetem) Unwissen heraus Einladungsmails aus einer Sprachversion heraus versendet hatten. Dies kann in bestimmten Szenarien ja auch nützlich und beabsichtigt sein, z.B. wenn schon vor dem Versand klar ist, dass bestimmte Teilnehmende ausschliesslich in einer Sprache (und nicht in der «Master»-Sprache sondern in einer Sprache einer Sprachversionsumfrage) befragt werden sollen. Ansonsten ist es empfehlenswert, alle Teilnehmenden immer aus der Masterversion heraus einzuladen. Denn dann erhalten alle Teilnehmenden die Möglichkeit, die Sprache der Befragung selbst über das Sprachmenü auszuwählen und selbst während der Befragung die Sprache zu wechseln. Entscheidender Vorteil zudem: alle Ergebnisse (aller Sprachen) fliessen in den selben zentralen Datenpool, nämlich in die Masterumfrage, zurück. Damit ist es einfach möglich, über alle Sprachen hinweg auszuwerten, wobei eine Auswertung pro Sprache natürlich über Superfilter, Tabellenbände, etc. trotzdem problemlos durchfeführt werden kann; aber eben auch eine Auswertung «over all». Bei einem Versand von Einladungen aus einer Sprachversion heraus fliessen diese Ergebnisse dann direkt in die Sprachversion und sind somit getrennt von der Masterversion gespeichert und können nicht gemeinsam ausgewertet werden.

Hier haben wir nun ab sofort bei allen Sprachversionen im Menü «Teilnehmer» (also dort wo versehentlich ein Versand stattfinden könnte, der obige Konsequenzen hat) ein rotes Warnfenster eingebaut, welches auch einen Link zum Lernvideo für mehrsprachige Umfragen enthält. Das Fenster kann natürlich weggeklickt werden, soll aber informieren und Missverständnisse vermeiden.

Vielen herzlichen Dank für die aufmerksamen Rückmeldungen aus unserer Community! Wir lernen täglich und lebenslang – und optimieren das System entsprechend gerne 😉

Tabellenbände mit Split aus metrischer Variable und eigener Klassenbildung

Sie möchten Tabellenbände nutzen und als horizontales Tabellenband nach einer Variablen auswerten, die metrisch skaliert ist, z.B. Alter? Sie haben aber die Frage ohne Altersklassen gestellt und eine offene Zahlenangabe abgefragt? Kein Problem. Sie können für die Auswertung (hier Tabellenbände II) eigene Klassen definieren, nach denen die Antworten «Alter» klassifiziert werden.

Sie sehen hier (oben) bereits das Ergebnis. Die Altersgruppen sind hier selbst definiert und nicht durch die Frage «Alter» vorgegeben. Um diese Auswertung zu erzeugen, wählen Sie unter «Auswertung» den Punkt «Tabellenbände II (nur gültige Prozent mit Signifikanzen)».

Wählen Sie dann den Link «Für Menü 1: Vergleiche von Subgruppen: hier einfach weiteres Tabellenband anfügen» und fügen Sie ein Tabellenband an:

Kreuztabelle (Frage der aktuellen Umfrage):
Wie alt sind Sie?
Welche Überschrift soll das Tabellenband erhalten?
Altersgruppen
Optional: Labels für Antworten (in Reihenfolge der Antworten, bitte mit ; trennen). Beispiel: de;fr
0-16;17-25;26-35;36-45;46-55;über 55
Antworten gruppieren (Standard leer, Format: 1,2;3;4,5 oder 0-15;16-25;26-100)
0-16;17-25;26-35;36-45;46-55;55-100

Durch die Angabe der Labels «0-16» «17-25» usw. sagen Sie dem System, wie die Spalten benannt werden. Diese Angaben sind rein kosmentisch und haben keine technische Bedeutung. Sie können hier also auch sprechende Namen wie «Kinder», «Jugendliche», etc. verwenden, einfach so, wie für Sie am meisten Bedeutung und Klarheit entsteht.

Wichtig und technisch entscheidend ist die letzte Angabe «Antworten gruppieren». Hier können Sie alle Antworten (eigentlich ja eine grosse Spannbreite von 0 bis z.B. 100 Jahre) in Gruppen einteilen, in dem Sie die in eine Gruppe zusammengehörenden Zahlen immer mit , oder – zusammenschreiben und die einzelnen Gruppen von der nächsten mit dem ; Zeichen abtrennen. Fügen Sie hier keine Leerzeichen oder Buchstaben ein.

Beispiel:

0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16;17,18,19,20,21,22,23,24,25;usw...

Statt 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16 kann auch die Kurzform 0-16 verwendet werden, das System erkennt dann alle Werte zwischen 0 und 16. Wichtig ist, dass die Gruppen durch das Semikolon (;) getrennt werden, die einzelnen Werte aber immer durch Komma (,) oder eben bei Bereichen mit einem Bindestrich (-) geschrieben werden.

Die Erfassung geschieht also so:

Hätten Sie in Wirklichkeit in einer Frage die Antwortvorgaben «Schweiz, Deutschland, Österreich, Frankreich, Luxembourg» könnten Sie auch zwei Gruppen einrichten mit dem Label

Deutschsprachige Länder;Französischsprachige Länder

und der technischen Gruppenangabe

1,2,3;4,5

Beachten Sie das ; nach der 3, dieses trennt die beiden Gruppen!

Dies würde dann ein Tabellenband mit zwei Spalten «Deutschsprachige Länder» und «Französischsprachige Länder» anfügen, in der ersten Spalte werden dann alle Nennungen von Schweiz, Deutschland und Österreich eingezählt, in der zweiten alle von Frankreich und Luxembourg.

Umcodieren des Exports (Excel/SPSS) von Sortierfragen

Wenn Sortierfragen exportiert werden, exportieren wir generell so, dass wir die Spalten als Rangplätze setzen (Spalte 1=Erster Rang, Spalte 2=Zweiter Rang, Spalte 3=Dritter Rang, etc.) und die Inhalte der Zellen dann die Ausprägungen angeben, z.b. 1=Audi, 2=Opel, 3=Mercedes, etc. In einigen Fällen kann es nützlich sein, einen Export aber umzucodieren. Nämlich so, dass die erste Spalte immer die erste Marke meint und die Inhalte der Zellen deren Rangplatz (Platz 1, Platz 2, Patz 3, usw.), die zweite Spalte immer die zweite Marke (z.B. Opel) und für jeden Teilnehmer deren Platz, usw. und die Inhalte der Zellen dann die Rangplätze angeben (1=auf dem ersten Platz, 2=auf dem zweiten Platz, etc.). Beispielsweise können damit dann in Excel oder SPSS durchschnittliche Rangplätze für jede Marke berechnet werden (Mittelwert über Spalte).

Beispiel normaler Export (Standardexport):

Wir möchten aber folgendes haben:

Wir erstellen dazu einen ganz normalen Export in Excel, welcher uns das erste Bild liefert (also die «Normalcodierung»). Dann fügen wir fünf neue Spalten rechts von den bisherigen 5 Spalten ein. Wir haben dann die fünf Spalten (blau, bisherig) und daneben 5 neue Spalten (grün, neu, leer):

Jetzt benötigen wir für die neuen Felder (grün) eine spezielle Formel. Sinn und Zweck der Formel ist es, aus dem grünen Bereich die entsprechenden Rangplätze herauszulesen und in Merkmale umzuwandeln und diese dann in die blauen grünen zu schreiben. Die Formel lautet für die Zelle G2 in obigem Bild:

=WENN(ISTFEHLER(VERGLEICH(1;$B2:$F2;0));"";VERGLEICH(1;$B2:$F2;0))

Wir beginnen innen:

VERGLEICH(1;$B2:$F2;0))

Diese Formel sucht den Wert «1» im Bereich $B2:$F2 (eigentlich könnte man schreiben B2:F2: der Raum, der die Antworten enthält. Wir schreiben aber zusätzlich das Dollarzeichen, damit Excel den Buchstaben B beim Kopieren in Zellen, die weiter rechts liegen, nicht erhöht. Wenn wir später die Formel von G2 nach H2 in die nächste Spalte kopieren wollen, soll dort der Bereich immer noch B2:F2 lauten. Ohne $ Zeichen würde Excel den Bereich nach C2:G2 abwandeln.) Die Null ganz hinten in der Formel gibt den Vergleichsmodus an. Null heisst hier, der Vergleich soll eine genaue Übereinstimmung ergeben.

Die Formel funktioniert so schon wunderbar und gibt für die Zelle G2 eine #NA zurück. Das ist leider nicht, was wir wollen, liegt aber daran, dass links im Bereich B2:F2 leere Zellen sind (missing values), mit denen die Formel (noch) nicht umgehen kann. Wir verwenden nun den Befehl  ISTFEHLER(formel), der je nachdem ob die Formel in Klammer einen Fehler zurückgibt oder nicht (bei uns jetzt «ja») entweder 0 (=kein Fehler) oder 1 (Fehler) zurückgibt. Darum herum packen wir jetzt noch eine WENN-Formel, die im Format WENN(Bedingung;JA-Teil;Nein-Teil) bei erfüllter Bedingung den Ja-Teil ausgibt  (Ja-Teil ist «», also nichts, denn wenn ein Fehler entsteht, soll einfach nichts geschrieben werden) – oder den Nein-Teil, wenn die Bedingung nicht erfüllt ist, also, wenn die Formel in der Mitte keinen Fehler ausgibt. Im Nein-Teil setzen wir dann ebenfalls ein, was ausgegeben werden soll: nochmals unsere Formel von oben.

So, genug erklärt: jetzt einfach die Formel in alle Felder kopieren (mit Copy/Paste).

Voilà! Wir haben nun in den Spalten G bis K jeweils die Werte für die Rangplätze (1=Erster Rang, 2=Zweiter Rang, 3=Dritter Rang, usw.) und als Spalten fixiert die Marken (V55=Audi, V55n1=Opel, V55n2Mercedes, etc.).

Natürlich kann SPSS eine solche Excel-Datei importieren (dazu zum Beispiel mit Merge Cases über die Interne-User-ID mergen). Die Case-Spalte würden wir dann am besten vorher wegschneiden.

Schriftgrösse für Fragen und Antworten in Standardauswertung anpassen

Um die Schriftgrösse von Fragen und Antwortvorgaben in Standardauswertungen anzupassen, wählen Sie in der Standardauswertung im Kasten der Optionen ganz oben auf der Seite den Punkt «Textgrösse» und wählen Sie dort die Schriftgrösse aus. Diese wird auch für den PDF-Export wie auch für den Export nach Word direkt übernommen.