A. Einleitung
B. Hauptteil
I. Methodik von Pretests
1. Zweck von Pretests
2. Unterschiedliche Varianten
a. ) Standardverfahren
b. ) Kognitive Verfahren
c. ) Kombination von Standardverfahren und kognitiven Verfahren
II. Ausgewählte Pretestvariante: Probing
1. Methodik des Probings
2a) Durchführung des Standardpretest
2b) Durchführung des kognitiven Pretests
III. Überarbeitung des Fragebogens
C. Fazit
D. Literaturverzeichnis
Laut dem Institut für Statistik entstehen die gravierendsten Fehler bei der Fragebogenerstellung in der ersten Phase. Da der Forscher mit dem Thema auf einer anderen Ebene vertraut ist, als der spätere Befragte, kann schon wegen einfachen Verständnisproblemen der Erfolg der Studie beeinträchtigt werden. Um dies zu vermeiden, ist in den Sozialwissenschaften das Testen eines Fragebogens vor der eigentlichen Befragung ein anerkanntes und bewährtes Verfahren. Daher wurde im Rahmen des Fragebogenexperiments zum Thema „studentisches Wohnen“ des Instituts für Soziologie der LMU ein Pretest durchgeführt. Die Vorgehensweise und Ergebnisse dieses Pretests sollen im Folgenden erläutert_werden.
Pretests sind deshalb so wichtig, weil nicht alle möglichen Fehlerquellen, die bei der Befragung auftreten können, bei der Fragebogenentwicklung ersichtlich sind. Deshalb ist es üblich, den Fragebogen an weiteren Personen vor der eigentlichen Befragung zu testen. Dies bezeichnet man als Pretest. Folgender Leitgedanke hat sich in den Sozialwissenschaften durchgesetzt: „If you don't have resources to pilot test your questionnaire, dont do the study.“ (Sudman und Bradburn 1982) Sowohl einzelne Fragen als auch der gesamte Fragenbogenaufbau werden hierbei einem Test unterzogen. (Jacob 2011) Es gibt verschiedene Ziele, die ein Pretest verfolgen soll: zum Beispiel das Nachprüfen, ob Fragen verständlich sind, und zu überprüfen ob die Testpersonen bei der Beantwortung Probleme haben. Weitere Ziele sind zum Beispiel die Varianz zu ermitteln, die beim Antworten aufgetreten ist, sowie zu überprüfen ob der Fragebogen übersichtlich und strukturiert ist (Häder 2015). Auch zu überprüfen ist, ob Kategorien fehlen, man Fragen unterschiedlich interpretieren kann, ob Fragen als zu provokant angesehen werden. (Jacob 2011) Falls Probleme bei der Beantwortung der Fragen auftreten, ist es Aufgabe des Pretests, herauszufinden, welcher Natur diese Probleme sind. Außerdem soll der Fragebogen unter Feldbedingungen geprüft werden, damit Fehler so gut wie möglich vermieden werden können. (Häder 2015) Zusammengefasst, dienen Pretests der Sicherstellung der Qualität von Fragebögen im Hinblick auf die in der qualitativen Sozialforschung üblichen Gütekriterien wie Objektivität, die Reliabilität und die Validität. (Prüfer, Rexroth 2000) Außerdem erfüllen sie den Zweck, den Forschungsplan zu überprüfen (Friedrichs 1980)
Dieses Ziel wird durch verschiedene Pretestverfahren und -methoden unterstützt. Man kann hierbei sowohl Standardverfahren, Kognitive Methoden oder eine Kombination von beidem anwenden.
Die Ergebnisse des Pretests werden dann vor der Feldeinführung so in den Fragebogen eingearbeitet, dass dieser im Sinne des Erhebungsergebnisses die notwendige Qualität aufweist. (Prüfer,Rexroth,2000)
Diese Art des Pretests ist eine bewährte Methode. (Häder 2015) Der Standard Pretest wird manchmal auch als „Old-Style-Pretest“ oder „klassischer Pretest“ bezeichnet. (Jacob 2011) Er findet im Feld statt, und gehört laut Peter Prüfer und Margrit Rexroth zur selben Kategorie wie z.B. Behaviour Coding, Problem Coding oder die Analyse der Antwortverteilungen. (Häder 2015)
Es kommt durchaus vor, dass Fragen trotz formal korrekter Antwort falsch verstanden werden. Durch Anwendung eines Standardpretest kann jedoch eine größere Gruppe effizient befragt und ausgewertet werden und außerdem eine relativ genaue Zeitdauer für die Beantwortung des Fragebogens ermittelt werden. (Prüfer, Rexroth 2000)
Pretest mittels Standardverfahren bedeutet eine meist einmalige Testerhebung nachdem der Fragebogen erstellt ist. (Prüfer, Rexroth 2000) Durch diese Befragung unter Bedingungen der Hauptbefragung sollen zuvor festgelegte Qualitätsmerkmale des Erhebungsfragebogen überprüft werden. Es gibt unterschiedliche Empfehlungen dazu, wie man einen Standard Pretest angehen sollte, also gibt es einen relativ großen Spielraum in der Gestaltung. (Häder 2015)
Es geht dabei weniger um das aktive Interviewen der Befragten zum Verständnis einzelner Indikatoren, eher um eine allgemeine, passive Beobachtung von Auffälligkeiten (Häder 2015) Außerdem dient der Standard Pretest dazu, unter realistischen Bedingungen die Befragungsdauer zu ermitteln. (Jacob 2011). Obwohl der Standardpretest ein beliebtes und leicht umzusetzendes Verfahren ist, besteht die Gefahr, dass der Interviewer die Verständnisprobleme des Befragten zu subjektiv einschätzt und dass das Vorgehen zu unsystematisch ist. (Häder 2015)
Kognitive Methoden sind eine andere Form des Fragebogen-Pretestings, welche auf Protokollanalysen basieren um das Antwortverhalten genauer unter die Lupe nemen zu können. (Häder,2015)
Sie dienen vor allem der Überprüfung des Frageverständnisses und werden in Form von sogenannten Evaluationsinterviews eingesetzt. (Prüfer, Rexroth 2000) Das heißt, man stellt Probanden Fragen zum Fragebogen und fordert erklärende Antworten ein. Dabei können verschiedene kognitive Methoden bzw. Fragetechniken wie zum Beispiel „Probing“ , „Think Aloud“, „Paraphrasing“ und „Confidence Rating“ zum Einsatz kommen. (Prüfer,Rexroth,2000)
Um einen aussagekräftigen Pretest mit kognitiven Methoden durchzuführen, ist eine persönliche Befragung von ca. 5 Personen sinnvoll, welche nicht mit der Studie vertraut sind, aber potentiell zur Zielgruppe gehören könnten. Diese Personen werden im besten Falle mündlich befragt, um dabei auch individuelle Nuancen und Sichtweisen aufgreifen zu können. (Prüfer, Rexroth 2000)
Nach dem durchgeführten Pretest wertet man die erhaltenen Antworten aus und arbeitet diese - soweit erkennbar sinnvoll - in den Fragebogen ein, um diesen zu überarbeiten. Mögliche Folgen können hierbei zum Beispiel die Änderungen der Anzahl und Formulierung der Antwortkategorien. Weitere Konsequenzen könnten das Hinzufügen von Fragen oder eben auch einfache Umformulierungen sein. (Prüfer,Rexroth,2000)
Durch eine Kombination von kognitiven Pretest-Verfahren mit standardisierten Verfahren soll erreicht werden, dass die Stärken beider Vorgehensweisen zu einer möglichst hohen Fragebogenqualität führen. (Prüfer,Rexroth,2000)
Eine Kombinationsmöglichkeit ist beispielsweise, dass man mit einem standardisierten Fragebogen beginnt, um vor allem den sinnvollen Ablauf und Aufbau des Fragebogens zu überprüfen und dann ein kognitives Pretestverfahren nachschaltet, um Schwächen in der Fragestellung zu ermitteln, wie auch in der hier durchgeführten Studie zu studentischen Wohnverhältnissen in München.
Im Rahmen des Fragebogenexperimentes „studentisches Wohnen“ war eine Aufgabenstellung , neben dem Durchführen eines Standardpretest verschiedene kognitive Pretestverfahren kennen zu lernen und ein solches auszuwählen und anzuwenden. Hierbei hat meine Arbeitsgruppe das „Probing“-Verfahren ausgewählt.
Unter Probing versteht man ein Verfahren, bei dem das Hinterfragen von Antworten des mittels Fragebogen Befragten zeigen soll, ob der Fragebogen verständlich ist. (Prüfer, Rexroth 2000) Zu einzelnen Indikatoren werden während der Befragung zusätzliche Verständnisfragen gestellt (Häder,2015)
Mit Zusatz- und Nachfragen erhebt man hier weitere Informationen. Hier werden mit Hilfe von Zusatzfragen oder Nachfragen weitere Informationen deutlich gemacht. (Jacob 2011) Durch diese Vorgehensweise sollen verschiedene Anforderungen sichergestellt werden: Ist die Frage leicht zu verstehen? Gibt es zu viel Interpretationsspielraum? Sind die Kategorien sinnvoll gewählt? Wird der Gesamtzusammenhang deutlich? (Prüfer,Rexroth,2000)
Folgende Fragetypen kommen beim Probing zum Einsatz:
- Special Comprehension Probing = Der/die Befragte soll begründen, warum er/sie sich für bestimmte Antwortvorgaben oder Skalenwerte entschieden hat.
- Information Retrieval Probing = Der/die Befragte soll den Vorgang der Informationsbeschaffung beschreiben
- Category Selection Probing = Der/die Befragte soll begründen, warum er/sie sich für bestimmte Antwortvorgaben oder Skalenwerte entschieden hat
- General Probing = Dem/der Befragten wird eine sehr allgemein gehaltene Zusatzfrage, z.B. nach dem Verständnis gestellt („Gibt es etwas, was Sie nicht verstanden haben?“)“
Welche Fragevariante gewählt wird, hängt immer von der genauen Zielsetzung und der Interviewsituation ab. (Häder 2015)
Die Aufgabenstellung im Rahmen des Seminars „Aufbaumodul Quantitative Methoden“, lautete, pro Person einen Standard Pretest und einen kognitiven Pretest an je einer Person durchzuführen.
Mein Standardpretest fand am 2.1.19 um 14 Uhr bei mir zu Hause statt.
Soziodemographie der ausgewählten Testperson: (Testperson 1)
- Alter: 21
- Geschlecht: weiblich
- Bildung: Abitur, Studentin
- Migrationshintergrund: nicht vorhanden
Testperson A beantwortete den Fragebogen ohne fremde Hilfe, mit einer Gesamtdauer von 18 Minuten. Außer einem Laptop wurden keine technischen Hilfsmittel benutzt. Es kam zu keinerlei Störungen oder Unterbrechungen. Anschließend wurde die Testperson allgemein zum Verständnis des Fragebogens befragt.
Im Rahmen der Studentengruppe „Probing“ wurde der zu testende Fragebogen in 5 Gruppen aufgeteilt. Wohnverhältnisse, Wohnzufriedenheit, Fragen zur Wohngemeinschaft, Haushaltsführung und Alltagsorganisation. Mein Teil war der Teil „Wohnzufriedenheit“, den ich anhand einer Testperson dem Probingverfahren unterzogen habe. In Vorbereitung des Probing wurden zunächst zu jeder Frage des ursprünglichen Fragebogens unterschiedliche Verständnisfragen formuliert. Insgesmat wurden 6 Probingfragen gestellt.
Frage 1 (aus dem Fragebogen):
Sind Sie momentan auf der Suche nach einer anderen Wohnmöglichkeit?
Antwortmöglichkeiten: Ja/Nein
Probingfragen:
(1) Special Comprehension Probing: „Was verstehst du unter (Wohnung-) Suche?“ Begründung: Ich habe den Begriff Suche ausgewählt, da ich im Vorhinein annahm, dass der Begriff_unklar ist.
(2) Category Selection Probing: Warum hast du diese Antwort gewählt?
Begründung: Ich wollte Testperson 2 begründen lassen, warum Sie die Antwort gewählt hat, um noch weitere Verständnisprobleme sichtbar werden zu lassen.
[...]
