Inhaltsverzeichnis

Tabellenverzeichnis   III

  Abbildungsverzeichnis  IV

  Abk urzungsverzeichnis  V

1  Online-Methodenforschung als interdisziplin ares Erkenntnisgebiet  1

2  Online-Befragung: Darstellung des Forschungsgegenstandes  4

2.1  Abgrenzung von anderen Befragungsverfahren  4

2.1.1  Eine neue Variante der selbst-administrierten Befragung  4

2.1.2  Merkmale der Online-Technologie  6

2.1.3  Anwendungsgebiete f ur Online-Befragungen  10

2.2  G utekriterien und Fehlermodelle in der Umfrageforschung  13

2.2.1  G utekriterien der Methodenforschung  13

2.2.2  Das Fehlermodell von Groves  14

2.2.3  Typologie von Teilnahmeverhalten bei Web-Befragungen  16

2.3  Verfahren zur Teilnehmerrekrutierung  18

2.3.1  Deterministische Verfahren  18

2.3.2  Zufallsverfahren  20

2.4  Status Quo der empirischen Online-Fragebogenforschung  22

2.4.1  Befunde zu Merkmalen der Befragten  23

2.4.2  Befunde zu Merkmalen des Instruments  26

2.4.3  Bemerkung zur Vorgehensweise in der Methodenforschung  39

3  Theorien zur Beantwortung von Umfragen  40

3.1  Theorien zur Erkl arung der Teilnahme an Befragungen  40

3.1.1  Teilnahme als rationale Entscheidung  41

3.1.2  Teilnahme als heuristische Entscheidung  42

3.1.3  Teilnahme als sozialer Austausch  43

3.1.4  Handlungstheoretische Ans atze  45

3.2  Theorien zur Erkl arung der Beantwortung von Fragen  47

3.2.1  Psychometrische Ans atze  47

3.2.2  Antwortselektion als Nutzenmaximierung  48

3.2.3  Das kognitionspsychologische Strukturmodell  49

3.2.4  Theorien paralleler Verarbeitungswege  53

3.2.5  Konversationstheoretische  

  Uberlegungen  56

I

4  Experimentelle Untersuchung der Wirkung von Fragebogenmerk-  

  malen bei Online-Befragungen  58

4.1  Fragestellung und Hypothesen  58

4.1.1  Fragenkomplex animierte Skalen  59

4.1.2  Fragenkomplex Fortschrittsanzeige  66

4.1.3  Fragenkomplex Kontexteffekte  69

4.2  Methode  73

4.2.1  Beschreibung des Instruments  73

4.2.2  Vorgehensweise und Ergebnisse der Pretests  77

4.2.3  Feldphase und Stichprobencharakteristik  80

4.2.4  Datenaufbereitung  84

4.3  Ergebnisse  86

4.3.1  Fragenkomplex animierte Skalen  86

4.3.2  Fragenkomplex Fortschrittsanzeige  95

4.3.3  Fragenkomplex Kontexteffekte  100

4.4  Zusammenfassende Diskussion  101

5  Schlussfolgerung und Ausblick  109

  Literatur  113

A  Fragewortlaut und Randverteilungen  129

B  Skalendokumentation  137

C  Dokumentation der Pretests  142

D  Weitere Tabellen der Datenanalyse  144

E  Inhalt der beiliegenden CD  152

II

  Tabellenverzeichnis  

1  Modi und Technologien der standardisierten Befragung  6

2  Rekrutierungsverfahren f ur Online-Befragungen  19

3  Literaturstellen zur Frageanordnung  32

4  Kennzahlen zum Teilnahmeverhalten  81

5  Beschreibung der Stichprobe: Soziodemografische Angaben  84

6  Test der Voraussetzungen f ur statistische Analyseverfahren  85

7  Einstiegsfrage: Dropouts pro Skalenversion  86

8  Weiterer Verlauf: Dropouts pro Skalenversion  87

9  Dropouts in Abh angigkeit von der Skalenversion  87

10  GLM: Reihenfolgeeffekte beim Item Sozialforschung“  91

11  GLM Zusammenfassung: St arke der Reihenfolgeeffekte  92

12  Dropouts in Abh angigkeit von der Fortschrittsanzeige  95

13  Dropouts bei unterschiedlich gekr ummten Fortschrittsanzeigen  96

14  Dropouts pro Skalenversion unter Kontrolle der Fortschrittsanzeige  98

15  Pr adiktoren f ur Dropouts: Fortschrittsanzeige und Skalenversion  99

16  Kontexteffekte durch visuelles Priming  100

17  Kontexteffekte durch explizite Verweigerungsalternative  101

18   

  Uberblick: Hypothesen und Befunde zu grafischen Skalen  102

19   

  Uberblick: Hypothesen und Befunde zur Fortschrittsanzeige  102

20   

  Uberblick: Hypothesen und Befunde zu Kontexteffekten  103

21  Dokumentation des Online-Fragebogens  129

22  Bildsequenzen der animierten Skalen  137

23  Reliabilit at der Icons: Zustimmungs-Skala  139

24  Reliabilit at der Icons: Bewertungs-Skala  140

25  Reliabilit at der Icons: Entwicklungs-Skala  140

26  Korrelationsdiagnose: Zustimmungs-Skalen  141

27  Typische Datenvolumen des Online-Fragebogens  142

28   

  Ubersicht uber die Anwendung von Probes im kognitiven Pretest  143

29  Mittelwertvergleich: Items der Fragebogen-Bewertung  144

30  Anteil der Dropouts bei der ersten Frage  145

31  Dropouts in Abh angigkeit von der Skalenversion  145

32  Freiwillige Angabe der eigenen E-Mail-Adresse  145

33  Interkorrelationen der reaktiven Indikatorvariablen  146

34  Kontrolle der Unabh angigkeit von Reihenfolgeeffekten  147

III

35  Reihenfolgeeffekte in Abh angigkeit der Korrekturen  147

36  Reihenfolgeeffekte in Abh angigkeit der R uckschritte  148

37  Reihenfolgeeffekte in Abh angigkeit der Antwort-Latenzzeit  149

38  Reihenfolgeeffekte in Abh angigkeit der Teilnahmeh aufigkeit  150

39  Pr adiktoren f ur Dropouts: Merkmale der Fortschrittsanzeige  150

40  Pr adiktoren f ur Dropouts: Fortschrittsanzeige und Skalenversion  151

41  Einfl usse der Treatments auf die Bewertung des Fragebogens  151

  Abbildungsverzeichnis  

1  Typologie des Antwortverhaltens bei Online-Befragungen  17

2  Parallele Mixed Mode Strategien in der Methodenforschung  22

3  Kausalbeziehungen zwischen Konstrukten der TOPB  46

4  Psychologische Teilprozesse bei der Beantwortung von Testfragen  50

5  Unterscheidung zwischen Abruf und Berechnung von Meinungsurteilen  54

6  Optimizing und Satisficing als idealtypische Antwortstrategien  55

7  Antwortstrategie als Moderatorvariable f ur Reihenfolgeeffekte  56

8  Online-Fragebogen mit numerischer Skala  60

9  Online-Fragebogen mit Icon-Skala  61

10  Grafische Rating-Skala aus stilisierten Gesichtern  62

11  Grafische Rating-Skala aus aquidistanten Smilies  62

12  Variation der Genauigkeit der Fortschrittsanzeige  68

13  Frage nach der Altersgruppe mit und ohne Verweigerungsm oglichkeit  72

14  Mehrfachantworten zur Messung von Reihenfolgeeffekten  76

15  Teilnahmeaufforderung zum Online-Fragebogen  82

16  Debriefing mit Bitte um E-Mail-Adresse  83

17  Interaktionseffekt: Skalen-Wirkung h angt von der Erfahrung ab  89

18  Interaktionseffekte der Motivations-Faktoren auf die Dropouts  97

19  Empirische Wirkungszusammenh ange zur Fortschrittsanzeige  99

20  Modell zur Teilnahmebereitschaft mit und ohne Icon-Skalen  105

21  Effektst arke und zeitliche Distanz des Kontexts bei Online-Befragungen107  

22  Konstruktion des Test-Fragebogens  138

23  Fragebogenbewertung: Projektion der Hauptkomponenten  146

IV

Abk¨ urzungsverzeichnis

ACTA Allensbacher Computer- und Telekommunikations-Analyse ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. AGIREV Arbeitsgemeinschaft Internet Research e.V.

AIC Akaike Information Criterion AOD Analysis Of Deviance

AV Abh¨ angige Variable CAPI Computer Assisted Personal Interview CASI Computer Assisted Self-Administered Interview CASM Cognitive Aspects of Survey Methodology CATI Computer Assisted Telephone Interview CRM Customer Relationship Marketing/Management GLM Generalized Linear Model GVU Graphics, Visualization and Usability (Center)

HCI Human Computer Interaction HMM Hidden Markov Model HTML Hyper Text Markup Language HTTP Hyper Text Transfer Protocol IVW Informationsgemeinschaft zur Feststellung der Verbreitung von Werbetr¨ agern e.V. OLS Ordinary Least Squares ORM Online Reichweiten Monitor PAPI Paper and Pencil Interview PATI Paper Assisted Telephone Interview PEP Pretest Expert Panel TED Teledialog TOPB Theory of Planned Behaviour TORA Theory of Reasoned Action URL Uniform Ressource Locator UV Unabh¨ angige Variable

V

1 Online-Methodenforschung als interdisziplin¨ ares

Erkenntnisgebiet

Wenn sich soziale Prozesse aus der analogen Welt in die digitale verlagern, dann muss auch die empirische Sozialforschung diesen Schritt nachvollziehen. Einen kleinen Beitrag dazu soll die vorliegende Arbeit leisten. Je mehr Bedeutung die Online-Befragung als Werkzeug zur sozialwissenschaftlichen Datenerhebung bekommt, desto notwendiger wird eine fundamentale Auseinandersetzung mit der Methode. Im Speziellen gibt es drei Motivationen f¨ ur Forschungsarbeiten auf diesem Gebiet: Erstens m¨ ussen die Befunde der Wissensbasis zu den traditionellen Befragungsformen (pers¨ onlich, schriftlich, telefonisch) systematisch repliziert und auf ihre G¨ ultigkeit online ¨ uberpr¨ uft werden. Zweitens bietet

die Online-Technologie eine Reihe von neuen M¨ oglichkeiten und Besonderheiten, deren Wirkungen auf das Antwortverhalten unbekannt sind:

“The issues raised by Web surveys are particularly hot right now, partly because Web surveys are primarily visual and use a much wider range of visual material (photographs, drawings, video clips) than has been true of surveys in the past.” (Tourangeau, 2003, S. 6)

Drittens vereinfacht die Computer-Technologie Experimente zur Erforschung von latenten psychologischen Prozessen bei der Fragebeantwortung. Erst mit weitreichender Kenntnis der Antwortprozesse k¨ onnen Methodenforscher die bislang oft nur oberfl¨ achlich beschriebenen Ph¨ anomene und Fragebogeneffekte urs¨ achlich erkl¨ aren (Sudman, Bradburn und Schwarz, 1996, S. 268).

Der Weg von der para-wissenschaftlichen Kunstlehre der Fragebogengestaltung, die bezeichnend durch den Buchtitel “The Art of Asking Questions” (Payne, 1951) charakterisiert ist, hin zu einem “Scientific Paradigm for Surveys” (Tourangeau, 2003) ist zunehmend interdisziplin¨ ar. Diese eklektische Perspektive macht das Forschungsfeld faszinierend: Es liegt in der Schnittmenge von Erkenntnisgebieten der Kommunikationswissenschaft, der Statistik, der Linguistik und der Sozial- und Kognitionspsychologie (Sirken und Schechter, 1999). Speziell die Online-Forschung integriert zus¨ atzlich die Human Computer Interaction (HCI) oder sogenannte ” Software-Psychologie“ (Couper, 1999).

Dementsprechend vielschichtig ist auch der theoretische Teil der vorliegenden Arbeit aufgebaut. Kapitel 2 thematisiert den Status Quo der internationalen Online-Forschung. Die Abgrenzung beschr¨ ankt sich dabei auf zentrale Definitionen. Elemen-

1

tare Begriffe aus der Internet-Technologie (z. B. E-Mail, Link und Server) k¨ onnen zehn Jahre nach Erfindung des World Wide Web und einer Abdeckung von inzwischen gut 50 % der deutschen Bev¨ olkerung (Eimeren, Gerhard und Frees, 2003, S. 339) als bekannt vorausgesetzt werden. Nach einem kurzen Literatur¨ uberblick der Vor- und Nachteile von Online-Befragungen in ihren jeweiligen Anwendungsgebieten behandelt Kapitel 2.2 die statistischen G¨ utekriterien der Methodenforschung. Diese, und die in Kapitel 2.3 vorgestellten Rekrutierungsverfahren, bilden die Grundlage zur folgenden Dokumentation des empirischen Forschungsstands von Online-Fragebogeneffekten im Kapitel 2.4. Der R¨ uckblick systematisiert die in der

Literatur meist katalogartig aneinander gereihten experimentellen Einzelbefunde nach Merkmalen des Befragten und des Instruments.

Um die viel beklagte Liste der unzusammenh¨ angenden Einzelbefunde nicht weiter zu verl¨ angern, bietet sich die Suche nach einem geeigneten theoretischen Rahmen an. Dazu stellt Kapitel 3 die wichtigsten Theorieans¨ atze zur Teilnahme an Befragungen (Kapitel 3.1) und zur Beantwortung von einzelnen Fragen (Kapitel 3.2) vor und unterzieht sie jeweils einer kritischen W¨ urdigung. Ein viel versprechendes, psychologisches Prozessmodell aus der CASM-Bewegung (Cognitive Aspects of Survey Methodology) dient schließlich als Grundlage zur Ableitung von Hypothesen und Forschungsfragen. Die CASM-Perspektive ist besonders gut mit Fragestellungen der Online-Forschung vereinbar, weil sie den reinen Antwortprozess fokussiert und andere Einfl¨ usse, wie z. B. die Interviewer-Fehler, nur indirekt behandelt. Gerade die Online-Technologie erlaubt es, den Antwortprozess mit maschineller Genauigkeit abzubilden.

Der empirische Teil (Kapitel 4) beschreibt eine experimentelle Untersuchung von Fragebogeneffekten bei einer eigens zu diesem Zweck konzipierten Online-Befragung. Als Fragebogeneffekt werden in dieser Arbeit Ursache-Wirkungs-Zusammenh¨ ange zwischen verbalen und nonverbalen Merkmalen eines Fragebogens (z. B. Wortlaut, Reihenfolge, Format) und dem Antwortverhalten der Befragten verstanden. Die Auswahl der Forschungsfragen und Hypothesen orientiert sich an zwei Kriterien: Zum einen sollten in Kapitel 2.4 identifizierte Forschungsl¨ ucken konsequent geschlossen werden, zum anderen m¨ ussen die experimentellen Merkmale als Komponenten im Theoriemodell interpretierbar sein, um stringente Hypothesen zu deduzieren. Als Elemente, die diesen Spagat zwischen theoretischer Anbindung und Praxisrelevanz erf¨ ullen, werden schließlich animierte, grafische Rating-Skalen und die Anwesenheit einer grafischen Fortschrittsanzeige bestimmt. Grafische Skalen sind ein kaum untersuchtes online-typisches Merkmal und zur Fortschrittsanzeige liegen

2

in der Literatur bislang widerspr¨ uchliche Befunde vor, die einer Kl¨ arung bed¨ urfen. Die vorliegenden Experimente konzentrieren sich auf die kommunikativen Konsequenzen des Grafik-Einsatzes: Welchen Einfluss haben grafische Merkmale auf die Bereitschaft der Teilnehmer, einen Online-Fragebogen sowohl vollst¨ andig als auch sorgf¨ altig zu bearbeiten?

Davon zu unterscheidende messtheoretische Aspekte der Skalen (Stadtler, 1983, S. 37) werden nur exemplarisch thematisiert. Weiterf¨ uhrende Analysen m¨ ussten hier f¨ ur jede Kombination aus Konstrukt und Skala einzeln durchgef¨ uhrt werden, so z. B. f¨ ur Maße der Kundenzufriedenheit oder Pers¨ onlichkeitsst¨ arke. Solche Aussagen sind sehr speziell und ließen sich nicht auf eine Klasse von Skalentypen verallgemeinern.

Einen zus¨ atzlichen Fragenkomplex bilden Hypothesen zu Kontexteffekten, die jedoch im vorgegebenen Rahmen nicht umfassend untersucht werden k¨ onnen. Die Anordnung zur Untersuchung von visuellen Kontexteffekten entsteht vielmehr als Nebenprodukt aus der Untersuchung von grafischen Skalen. Das letzte Kapitel ordnet zun¨ achst die Erkenntnisse dieser Arbeit in den praktischen und theoretischen Methodenfundus ein, um dann mit einem Pl¨ adoyer f¨ ur die Online-Methodenforschung aus einer angewandten, wissenschaftlichen und gesellschaftlichen Perspektive zu schließen.

3

2 Online-Befragung:

Darstellung des Forschungsgegenstandes

2.1 Abgrenzung von anderen Befragungsverfahren

Mit der Verbreitung des Internets entdeckten empirische Sozialforscher dieses neue Medium auch als Kommunikationskanal f¨ ur Forschungskontakte. Die Bezeichnung Online-Forschung“ beschr¨ ankt sich damit nicht auf Untersuchungen, die Online-

Kommunikation als Gegenstand haben, sondern beinhaltet zudem Forschungsstrategien, die das Medium Internet lediglich als Kanal zur Datengewinnung nutzen. In der Literatur ist inzwischen zu fast jeder reaktiven und nicht-reaktiven Methode der empirischen Sozialforschung ein entsprechendes Online-Pendant dokumentiert (vgl. Batinic et al., 1999, 2002). Gemessen an der Anzahl der Publikationen nimmt die Online-Variante der standardisierten Befragung, die sogenannte ” Online-Befragung“, eine herausragende Stellung ein. Gr¨ unde daf¨ ur k¨ onnten einerseits die exponierte Stellung der standardisierten Befragung im Kanon der sozialwissenschaftlichen Befragungsmethoden (Kromrey, 2002, S. 348) und andererseits die technologisch bedingte besondere Eignung des Mediums Internet zur Durchf¨ uhrung von standardisierten Befragungen sein.

2.1.1 Eine neue Variante der selbst-administrierten Befragung

Online-Befragungen sind in der Literatur unterschiedlich abgegrenzt. Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) verwendet eine relativ weite Definition, die folgende Spezialf¨ alle umfasst (vgl. ADM, 2001, S. 1):

(1) Teilnehmer f¨ ullen einen auf einem Server abgelegten Fragebogen im Internet online aus.

(2) Teilnehmer laden den Fragebogen von einem Server herunter und schicken ihn ausgef¨ ullt per E-Mail zur¨ uck, und

(3) Forscher versenden Frageb¨ ogen per E-Mail und erhalten sie ausgef¨ ullt ebenfalls per E-Mail zur¨ uck.

Batinic und Boˇ snjak (2000, S. 288) sowie Batagelj, Lozar Manfreda und Vehovar (1998, S. 2) differenzieren weniger stark und unterscheiden die Web-Befragung, bei der ein im Internet abgelegter Fragebogen online von den Befragten ausgef¨ ullt wird, von der E-Mail-Befragung. Da Letztere im Gegensatz zur Web-Befragung einige Nachteile aufweist (siehe Tuten, Urban und Boˇ snjak, 2002,

4

S. 9f., auch Schaefer und Dillman, 1998, S. 4, Dillman, Tortora und Bowker,

1998, S. 5) attestiert ihr Starsetzki (2001, S. 43) Bedeutungslosigkeit in der praktischen Anwendung. Sie ist daher nicht Gegenstand der vorliegenden Arbeit. Befunde aus der Methodenforschung zu E-Mail-Befragungen werden im Folgenden nur dann referiert, wenn sich ihre Aussagen auf Fragestellungen der Web-Befragung ¨ ubertragen lassen.

Eine weitere Einschr¨ ankung ist bez¨ uglich des Umfangs und der Ernsthaftigkeit einer Online-Umfrage zu machen: Auf vielen Internetseiten befinden sich Online-Abstimmungen mit nur einer Frage zu aktuellen Themen. Den Besuchern wird nach erfolgter Abstimmung eine Ausz¨ ahlung ¨ uber die bisher abgegebenen Stimmen

pr¨ asentiert (z. B. Moeller, 2002). Baker, Crawford und Swinehart (2002, S. 2) vermuten, dass diese Nischenanwendung vor allem zu Unterhaltungszwecken in Webseiten integriert wird. Da die Aussagekraft der Ergebnisse nicht h¨ oher ist als bei den viel kritisierten TED-Befragungen (Dillman, Tortora, Conradt und Bowker, 1998, S. 1, auch Couper, 2000b, S. 478) ist dieser Spezialfall als Datenerhebungsmethode nicht relevant und wird deshalb nicht weiter ber¨ ucksichtigt.

In der vorliegenden Arbeit wird die Online-Befragung wie folgt definiert:

Definition 1 Eine Online-Befragung ist eine Variante der selbst-administrierten, standardisierten Befragung, bei der die Fragestimuli auf einer Webseite pr¨ asentiert und die Antworten der Befragten online zu einem Server ¨ ubertragen und dort gespeichert werden.

Die Definition macht bewusst keine Aussagen ¨ uber die Art und Weise, mit der die

Teilnehmer auf die Befragung aufmerksam gemacht und zur Teilnahme aufgefordert werden. Kapitel 2.3 (S. 18ff.) behandelt diese Aspekte eingehend. Obwohl die Online-Befragung in der Literatur h¨ aufig als neue Methode oder als neuer Modus bezeichnet wird, der die bekannten Befragungsmodi (pers¨ onliches Interview, telefonisches Interview und selbst-administiert) erg¨ anzt (vgl. Bandilla und Boˇ snjak, 2000, Dillman, 2000, Tourangeau, Rips und Rasinski, 2000), wird diese Konvention in Definition 1 nicht weitergef¨ uhrt. Tats¨ achlich ist eine Bezeichnung als Methode gar nicht, und als Modus nicht ganz treffend. Vielmehr stellt Fuchs (2002) fest, dass es sich bei der Online-Befragung um eine selbstadministrierte Befragung handelt, die sich allein durch den Einsatz einer anderen Technologie von einer schriftlichen Paper-and-Pencil-Befragung unterscheidet (auch

P¨ otschke und Simonson, 2001, S. 7). Dementsprechend sind Unterschiede in der

5

Beantwortung von On- und Offline-Frageb¨ ogen keine Effekte des Modus sondern vielmehr Effekte der verwendeten Technologie. Tabelle 1 ordnet die wichtigsten Varianten der standardisierten Befragung anhand dieser beiden Dimensionen ein (¨ ahnlich auch Boˇ snjak, 2002, S. 7). Da die verwendeten Abk¨ urzungen in Fachkreisen allgemein bekannt sind, wird auf eine ausf¨ uhrliche Erkl¨ arung der Varianten an dieser Stelle verzichtet und auf die weiterf¨ uhrende Literatur (z. B. Tourangeau et al., 2000, S. 289ff.) bzw. das Abk¨ urzungsverzeichnis (S. V) verwiesen.

Diese pr¨ azisere Sprachkonvention hat sich allerdings in der Literatur nicht durchgesetzt. Ein Grund daf¨ ur k¨ onnte sein, dass auch sie Schw¨ achen hat: So ist der Ansatz, unabh¨ angige Merkmale in verschiedene Dimensionen einzuteilen, zwar grunds¨ atzlich zu begr¨ ußen, allerdings wurde der Begriff Modus auch schon vor Einf¨ uhrung der Online-Befragung multidimensional gebraucht (vgl. Tourangeau und Smith, 1996). So beschreibt Fuchs (2002, S. 1) mindestens zwei Merkmale des Modus, n¨ amlich (1) die Pr¨ asentationsform und (2) die Anwesenheit eines Interviewers. Tourangeau et al. (2000, S. 306) skizzieren sogar vier Subdimensionen (von denen allerdings nur drei unabh¨ angig sind). Wenn der Begriff Modus in der Literatur sowieso schon ¨ uberladen ist, dann spricht auch wenig dagegen, in die begriffliche Unsch¨ arfe weitere Varianten, wie die Online-Befragung, einzubringen. Um jedoch die Einf¨ uhrung von treffenderen Bezeichnungen nicht im Ansatz durch destruktive Kritik zu behindern, wurde Definition 1 neutral formuliert: Die Varianten der standardisierten Befragung schließen alle denkbaren Modi und Technologien ein.

2.1.2 Merkmale der Online-Technologie

Online-Befragungen unterscheiden sich von den klassischen Befragungsverfahren durch eine Reihe von Merkmalen. Batinic und Boˇ snjak (2000, S. 311) z¨ ahlen sieben Kennzeichen auf:

6

Asynchronit¨ at: Forscher und Befragte m¨ ussen nicht gleichzeitig interagieren und in vielen F¨ allen k¨ onnen sich die Befragten den Zeitpunkt der Teilnahme an einer Online-Befragung selbst aussuchen.

Alokalit¨ at: Die Zielpersonen k¨ onnen weltweit verteilt sein, weil allein ein Internetzugang Voraussetzung f¨ ur den Forschungskontakt ist. Dabei ist anzumerken, dass in der Praxis nicht technologische, sondern sprachliche Barrieren die Verst¨ andigung behindern. Selbst wenn alle Befragten eine Sprache verstehen, k¨ onnen kulturelle Unterschiede die Interpretation der Fragestimuli so beeinflussen, dass eine Vergleichbarkeit der Antworten nicht mehr gegeben ist (zur Problematik von interkulturellen Befragungen und Fragebogen¨ ubersetzungen vgl. Paarek und Rao, 1980).

Obwohl von Batinic und Boˇ snjak (2000) urspr¨ unglich nicht vorgesehen, kann ein weiterer Aspekt der Online-Technologie dem Merkmal Alokalit¨ at untergeordnet werden: Das Internet eignet sich durch seine Ubiquit¨ at und die erh¨ ohte wahrgenommene Anonymit¨ at zur Untersuchung von dispersen und sonst f¨ ur Forschungskontakte schwer zug¨ anglichen Randgruppen (vgl. P¨ otschke und Simonson, 2001, S. 13, auch Sheehan, 2002, S. 2, Hiskey und Troop, 2002, S. 250, Hertel et al., 2002, S. 116, sowie Gerich et al., 2003, anders Gunn, 2002, S. 4). So berichtet z. B. Coomber (1997) von einer online durchgef¨ uhrten Befragung von Drogendealern.

Automatisierbarkeit: Da die Fragen von einem Computerprogramm gestellt und die Antworten sofort in einem f¨ ur die Analyse geeigneten Format gespeichert werden, er¨ ubrigt sich der Einsatz von Interviewern und Codierern.

Dokumentierbarkeit: Neben den Antwortdaten werden auch Daten ¨ uber den Verlauf

des Antwortprozesses, sogenannte Para-Daten, aufgezeichnet. Diese erlauben R¨ uckschl¨ usse auf den Antwortprozess und werden nicht-reaktiv erhoben (dazu auch Couper, 2000a, S. 394, Baker et al., 2002, S. 17, sowie Hertel et al., 2002, S. 116).

Flexibilit¨ at: Sowohl die Fragestimuli als auch die Antwortvorgaben k¨ onnen multimedial pr¨ asentiert werden, womit der Einsatz von Farbe, grafischen Elementen, Bildern, Animationen und (mit Einschr¨ ankungen) akustischen Stimuli gemeint ist (auch Gadeib, 1999, S. 108, Bandilla und Boˇ snjak, 2000, S. 17, Couper, 2000b, S. 476, Couper, 2001, S. 1, P¨ otschke und Simonson, 2001,

7

S. 13, Zerr, 2001, S. 13, sowie Lozar Manfreda, Batagelj und Vehovar, 2002, S. 14).

Objektivit¨ at der Durchf¨ uhrung und Auswertung: Die Erhebung ist weitgehend frei von Interviewereinfl¨ ussen und Fehlern bei der Dateneingabe.

Typisch f¨ ur eine selbst-administrierte Befragung liegt die Kontrolle ¨ uber den

Forschungskontakt jedoch vollst¨ andig in der Hand der Befragten (Dillman et al., 2001, S. 7). So besteht die Gefahr, dass die Vorteile des reduzierten Interviewereinflusses ins Gegenteil umschlagen und Motivationsverluste der Zielpersonen zu falschen oder fehlenden Angaben f¨ uhren (Dillman, 2000, S. 38, auch Tourangeau et al., 2000, S. 291).

¨ Okonomie: Internet-Befragungen sind in der Regel mit geringeren variablen Kosten verbunden als herk¨ ommliche Befragungen, da keine Kosten f¨ ur Porto, Interviewer und Dateneingabe anfallen. Dem stehen erh¨ ohte Fixkosten f¨ ur die Programmierung des Fragebogens und die Serverkapazit¨ aten gegen¨ uber, die bei den in der quantitativen Befragung ¨ ublichen Fallzahlen allerdings ¨ uberkompensiert werden (vgl. Dillman und Bowker, 2001, S. 3). So liegen laut einer Modellrechnung von Gunn (2002, S. 3) die durchschnittlichen Gesamtkosten pro Befragtem bei 2, 07 US$ f¨ ur eine schriftlich-postalische Befragung und bei 0, 88 US$ f¨ ur eine Online-Befragung.

Ein weiterer ¨ okonomischer Aspekt ist der Geschwindigkeitsvorteil: Da der Forschungsprozess ohne Medienbr¨ uche auskommt und die Antworten sofort zum Server ¨ ubertragen werden, k¨ onnen Datenanalysen laufend zur Kontrolle des R¨ ucklaufs und umgehend nach Ende der Feldzeit zur Ergebnisauswertung stattfinden (auch Dillman und Bowker, 2001, S. 5). Einige Autoren (z. B. Comley, 2002, S. 3) bewerten den Geschwindigkeitsvorteil von Online-Befragungen h¨ oher als den oben angesprochenen Kostenvorteil.

Die hier vorgestellte Aufz¨ ahlung ist prototypisch und in der deutschen Literatur relativ h¨ aufig zitiert. Vergleichbare Darstellungen finden sich bei Theobald (2000, S. 24) und in der internationalen Literatur z. B. bei Kaye und Johnson (1999, S. 324) und Sheehan (2002, S. 2).

Nicht so differenziert wie die Vorteile der Online-Technologie, aber umso gewichtiger, sind ihre Nachteile, die zurzeit den Einsatz von Online-Befragungen auf explorative Studien und Nischenanwendungen begrenzen. Die Einschr¨ ankungen entstehen

8

haupts¨ achlich durch die geringe und ungleichm¨ aßige Verbreitung von Internetanschl¨ ussen in der Bev¨ olkerung und durch die Schwierigkeit der Stichprobenziehung im Internet (vgl. Tuten et al., 2002, S. 16, auch Bandilla, 2002, S. 1):

Abdeckungsproblematik: Wissenschaftliche Datenerhebungen sind kein Selbstzweck, sondern ein Mittel zum Erkenntnisgewinn zu gesellschaftlich relevanten Fragestellungen. Daten werden erst dann wertvoll, wenn aus ihnen mit m¨ oglichst wenigen (d. h. schwachen) Annahmen Informationen mit Relevanz f¨ ur die soziale Realit¨ at abgeleitet werden k¨ onnen. So wird von der sozialwissenschaftlichen Umfrageforschung erwartet, dass ihre Ergebnisse auf real existierende Grundgesamtheiten, wie z. B. die Bev¨ olkerung eines Landes, verallgemeinert werden k¨ onnen. Verl¨ asst sich ein Meinungsforscher auf Daten aus einer Online-Befragung, dann ist dieser Schluss schon deshalb problematisch, weil l¨ angst nicht alle Mitglieder der Bev¨ olkerung auch Internetnutzer sind und somit nur ein Teil der Grundgesamtheit eine Chance hat, befragt zu werden.

Laut Statistischem Bundesamt (2003, S. 10) verf¨ ugten im ersten Quartal 2002 nur 43 % oder gut 16 Mio. deutsche Haushalte ¨ uber einen Internetzugang

(Online-Haushalte). Diese sind auch keineswegs gleichm¨ aßig ¨ uber alle Haushalte verteilt, sondern unterscheiden sich strukturell von Haushalten ohne Internetzugang. So ist der Anteil der Selbst¨ andigen, Beamten und Angestellten mit hohem Monatseinkommen bei den Online-Haushalten ¨ uberrepr¨ asentiert; Rentnerhaushalte sind dagegen deutlich unterrepr¨ asentiert (vgl. Statistisches Bundesamt, 2003, S. 12ff.). Die tats¨ achliche Nutzung des Internetanschlusses innerhalb der Haushalte verst¨ arkt diese Disproportionalit¨ at zus¨ atzlich. Unter den gut 23 Mio. von der Allensbacher Computer- und Telekommunikations-Analyse (ACTA) ausgewiesenen Internetnutzern (46 % der deutschen Bev¨ olkerung zwischen 14 und 64 Jahren) sind ¨ uberdurchschnittlich viele junge und

formal h¨ oher gebildete Personen vertreten (s. auch AGIREV, 2003).

Es ist offensichtlich, dass sich Verfahren, die ¨ uber die H¨ alfte der deutschen Bev¨ olkerung als ” blinden Fleck“ schlicht vernachl¨ assigen, nicht zur Erhebung von Daten mit Aussagekraft f¨ ur die Gesamtbev¨ olkerung eignen.

Stichprobenziehung: Bedingt durch die dezentrale Struktur des Internets gibt es keine Institution, die eine Liste aller f¨ ur Befragungszwecke infrage kommender Merkmalstr¨ ager (z. B. Internetnutzer, Internetanschl¨ usse oder E-Mail-Adressen) verwaltet. Weil diese elementare Grundlage f¨ ur eine Stichprobenziehung fehlt, ist offensichtlich, dass nie alle Elemente der Grundgesamtheit einer dis-

9

persen Internetpopulation die gleiche Chance haben k¨ onnen, in eine Stichprobe aufgenommen zu werden. Damit ist eine wichtige inferenzstatistische Voraussetzung verletzt, und die Konsequenzen f¨ ur die Validit¨ at der Schlussfolgerungen sind f¨ ur den Forscher nicht berechenbar (vgl. Fowler, 1993, S. 12f., auch Starsetzki, 2001, S. 42).

Erschwerend kommt hinzu, dass sich selbst die Definition einer Grundgesamtheit im Internet ¨ außerst schwierig gestaltet, da die Zuordnung von Nutzern (d. h. realen Personen) zu Internetanschl¨ ussen, E-Mail-Adressen oder Seitenabrufen beliebig variieren kann. Exemplarisch seien ¨ offentliche Internet-PCs, Personen mit mehrern E-Mail-Adressen, gemeinschaftlich genutzte Zug¨ ange, oder automatisierte Seitenabrufe durch Suchmaschinen genannt (vgl. Pfleiderer, 2001, S. 64). Sowohl bei der Definition der Grundgesamtheit als auch bei der Stichprobenziehung m¨ ussen daher immer Kompromisse und Annahmen getroffen werden. In Kapitel 2.3 (S. 18ff.) werden einige dieser Verfahren diskutiert.

Auch wenn in der Literatur einige optimistische Prognosen Hoffnung machen, dass sich zumindest die Abdeckungsproblematik in Zukunft auf ein vernachl¨ assigbares Maß verringert (z. B. Arnau, Thompson und Cook, 2001, S. 24, G¨ oritz, 2001, S. 73, Lozar Manfreda et al., 2002, S. 3 und Sheehan, 2002, S. 3, kritisch dagegen Best und Krueger, 2002, S. 86), so ist bez¨ uglich der Stichprobenproblematik auf kurze Sicht keine Verbesserung zu erwarten ¹ (Smith, 2003, S. 167). Die zusammenfassende Charakterisierung der Online-Befragung als schnelles und kosteneffizientes Befragungsverfahren mit Einschr¨ ankungen bei der Generalisierbarkeit der Befunde wird damit noch einige Zeit g¨ ultig bleiben.

2.1.3 Anwendungsgebiete f¨ ur Online-Befragungen

Eine verzerrte Stichprobe muss zwar nicht notwendigerweise zu einer Verzerrung der Antworten f¨ uhren und deren Generalisierbarkeit einschr¨ anken, allerdings kann nur in Spezialf¨ allen - und mit guten Begr¨ undungen - davon ausgegangen werden, dass die Antworten nicht mit dem Merkmal Internetnutzung konfundiert sind (vgl. Brenner, 2002, S. 94). Nur dann, wenn Eigenschaften oder Zusammenh¨ ange untersucht werden, bei denen es unwahrscheinlich ist, dass sie zwischen Internetnutzern und Nicht-Nutzern systematisch unterschiedlich ausgepr¨ agt sind, ist die Verallgemeine-

¹ Diezierbarkeit ihrer Nutzer als Voraussetzung zur L¨ osung des Stichprobenproblems ¨ uberhaupt gesell-

10

rung von online erhobenen Daten zul¨ assig. Aus diesen ¨ Uberlegungen begr¨ unden sich

auch die Anwendungsgebiete f¨ ur die Online-Befragung. Bandilla und Boˇ snjak (2000, S. 9) beschreiben die Entwicklung der Online-Befragung als eine interdisziplin¨ are Evolution. Relativ fr¨ uh entdeckten sie Marktforscher als Erhebungsmethode und in der Begeisterung ¨ uber Geschwindgkeit und

Kosteneffizienz bei hohen Fallzahlen trat die methodologische Skepsis zugunsten einer pragmatischen Herangehensweise in den Hintergrund (vgl. Zerr, 2001, auch Hofmann, Steinmeyer und Paul, 2001, S. 134, Pfleiderer, 2001, S. 56, Wermelskirchen, 2002). Die Einschr¨ ankungen der Online-Technologie werden bei diesem Anwendungsgebiet entweder einfach ignoriert - verzerrte Daten sind besser als gar keine Daten - oder fallen bei speziellen Produktgruppen nicht so sehr ins Gewicht, wenn f¨ ur deren Kunden eine hohe Internetaffinit¨ at angenommen werden kann (Gadeib, 1999, S. 101). Comley (2002) berichtet einen Online-Anteil der Marktforschung von 20 % in den USA bei einer j¨ ahrlichen Wachstumsrate von 50 %. ¨ Ahnlich optimistisch prognostizieren Lozar Manfreda et al. (2002, S. 2) einen Anteil von 50 % bis 2004 f¨ ur Westeuropa und Nordamerika. Allerdings ist bei diesen Zahlen nicht ersichtlich, ob sie auf Ums¨ atzen oder Fallzahlen basieren. Letzteres ist wahrscheinlicher, da weltweit Online-Access-Panels aufgebaut werden, die rein quantitativ ihre Offline-Vorbilder leicht ¨ ubertreffen. ¨ Ahnlich fr¨ uh, aber durchaus reflektiert, erfolgte die Nutzung von Online-Befragungen in der Psychologie (vgl. Birnbaum, 2000). Die in Kapitel 2.1.2 (S. 8f.) beschriebenen Probleme sind f¨ ur die psychologische Forschung weniger gravierend als in der demoskopischen Umfrageforschung, denn in psychologischen Feldstudien werden prim¨ ar multivariate Zusammenh¨ ange untersucht. Unter der Annahme, dass grundlegende psychologische Prozesse nicht wesentlich von Merkmalen wie Internetnutzung oder sozialem Status abh¨ angen, ist es ¨ ublich, diese Studien mit einer nichtrepr¨ asentativen Stichprobe durchzuf¨ uhren (Krantz und Dalal, 2000, Brenner, 2002, S. 96). Im Einzelfall kann diese Annahme in einer vorgelagerten Untersuchung uberpr¨ uft werden. So schlussfolgern Best, Krueger, Hubbard und Smith (2001) ¨

aus einem Methodenvergleich:

“Internet users and nonusers seem to use similar psychological mechanisms to arrive a common political decision such as vote choice and candidate performance evaluation” (S. 143),

schr¨ anken aber zugleich ein, dass dieser Befund nicht auf andere Themengebiete, wie bspw. Einstellungen zu Technik, verallgemeinert werden darf.

11

Eine ¨ ahnliche Argumentation gilt f¨ ur psychologische Experimente im Internet (s. Reips, 2000, 2002b): Verzerrungen betreffen Experimental- und Kontrollgruppe gleichermaßen und erzeugen in der Logik des Experiments keine Artefakte. Spielen Merkmale der Versuchspersonen eine intervenierende Rolle, so f¨ uhren homogene Stichproben dagegen eher zu einer Untersch¨ atzung der wahren Zusammenh¨ ange (Boˇ snjak, 2002, S. 226). Auch hier verlassen sich die Forscher implizit auf die (meist plausible) Annahme, dass die Reaktionen auf das Treatment sich zwischen der Subpopulation in der Stichprobe (z. B. Internetnutzern) und der Gesamtbev¨ olkerung nicht unterscheiden (Best et al., 2001, S. 132).

In der demoskopischen Umfrageforschung ist die Anwendung von Online-Befragungen dagegen mit Einschr¨ ankungen verbunden. Mit ihrer Zielstellung, Merkmalsverteilungen in der Bev¨ olkerung zu sch¨ atzen, werden zugleich hohe Anforderungen an die Repr¨ asentativit¨ at der Stichprobe gestellt, denen eine Online-Befragung aus den oben genannten Gr¨ unden nicht gerecht werden kann (Best und Krueger, 2002, S. 86). Folglich geht die Anwendung der Online-Technologie in der Umfrageforschung ¨ uber einige explorative Studien nicht hinaus (z. B. Miller et al., 2002). Trotzdem sind Befunde aus der Online-Forschung aus mehren Gr¨ unden f¨ ur die Umfrageforschung interessant. So k¨ onnen Ergebnisse der Grundlagenforschung zu psychologischen Prozessen bei der Beantwortung von (Online-) Frageb¨ ogen auf die traditionellen Verfahren ¨ ubertragen werden (vgl. Bandilla und Boˇ snjak, 2000,

S. 25f., auch Sudman et al., 1996, S. 268). Außerdem greifen auch Umfrageforscher zunehmend auf computergest¨ utzte Verfahren wie das Computer Assisted Personal Interview (CAPI) zur¨ uck. Aspekte der Benutzerfreundlichkeit und Effekte von verschiedenen Skalenpr¨ asentationen betreffen alle computergest¨ utzten Befragungsmodi gleichermaßen.

Vergleichsweise unproblematisch ist die Anwendung der Online-Technologie bei Befragungen, deren Grundgesamtheit vollst¨ andig mit Internetzug¨ angen abgedeckt ist und eine Liste aller Elemente vorhanden ist, aus der eine Stichprobe gezogen werden kann (Dillman, 1999, S. 17, Couper, 2000b, S. 485, Best und Krueger, 2002, S. 87). Diese Anforderungen erf¨ ullen bspw. Angeh¨ orige von Institutionen wie Unternehmen oder Universit¨ aten. Die Online-Befragung ist in diesem Fall ein probates und kosteneffizientes Verfahren zur Durchf¨ uhrung von organisationsinternen Befragungen. Hahn und Zerr (2001) halten Online-Befragungen f¨ ur diesen Anwendungsbereich grunds¨ atzlich f¨ ur geeignet, geben aber zu bedenken, dass die Anonymit¨ at der pers¨ onlichen Daten innerhalb einer Organisation zwar besonders sensibel ist, jedoch durch den Einsatz von Online-Technologie unter Umst¨ anden unzurei-

12

chend gew¨ ahrleistet ist. Als erste Gegenmaßnahme schlagen sie vor, die minimale Aggregatgr¨ oße in der Analysesoftware so festzusetzen, dass keine R¨ uckschl¨ usse auf Einzelpersonen m¨ oglich sind (ebd. S. 311).

Es ergibt sich ein differenziertes Fazit: Obwohl die Online-Befragung f¨ ur einige Einsatzbereiche in der Markt-, Media- und Meinungsforschung ungeeignet ist, gibt es andere Anwendungsgebiete wie die psychologische Feldforschung, experimentelle Designs und Befragungen von abgegrenzten Populationen, bei denen die Online-Technologie den herk¨ ommlichen Verfahren ¨ uberlegen ist. Allein diese Perspektive

rechtfertigt eine wissenschaftliche Auseinandersetzung mit den Besonderheiten dieser Befragungstechnologie.

2.2 G¨ utekriterien und Fehlermodelle in der Umfrageforschung

Voraussetzung f¨ ur eine wissenschaftliche Diskussion der Qualit¨ at einer standardisierten Befragung ist die Definition von G¨ utekriterien und Fehlermodellen. W¨ ahrend Erstere eher Maßst¨ abe zur Quantifizierung der Qualit¨ at einer Befragung im positiven Sinne bilden, erm¨ oglichen Letztere die Strukturierung von Faktoren, die Befragungsergebnisse von einem angenommenen ” wahren Wert“ verzerren (Bias) oder

dessen Sch¨ atzgenauigkeit verringern (Variance) (vgl. Groves, 1987, S. 157). Beide Ans¨ atze werden in der Methodenforschung verwendet, wobei die Autoren der f¨ ur Online-Befragungen relevanten Literatur haupts¨ achlich anhand von Fehlermodellen argumentieren. Grundlage f¨ ur den Literatur¨ uberblick in Kapitel 2.4 (S. 22ff.) bilden die im Folgenden vorgestellten G¨ utekriterien und Fehlermodelle.

2.2.1 G¨ utekriterien der Methodenforschung

Obwohl die klassischen G¨ utekriterien wie Reliabilit¨ at als Maß f¨ ur die Zuverl¨ assigkeit der Messung, und Validit¨ at als Maß f¨ ur die G¨ ultigkeit der Beschreibung eines realen Sachverhalts durch ein Konstrukt weitgehend bekannt und in der einschl¨ agigen Methodenliteratur in ihren designspezifischen Subdimensionen hinreichend diskutiert sind (z. B. Pedhazur und Schmelkin, 1991, S. 31ff.), spielen sie bei der Bewertung von Befragungsverfahren nur eine nachrangige Rolle (Boˇ snjak, 2002, S. 17). Umfrageforscher verwenden h¨ aufiger den Begriff Datenqualit¨ at, der allerdings von verschiedenen Autoren sehr unterschiedlich definiert wird. So verweist Batinic (2001, S. 116) auf die klassische Testtheorie und verwendet Datenqualit¨ at als Oberbegriff f¨ ur Validit¨ at, Reliabilit¨ at und Objektivit¨ at. Wegen der Schwierigkeit, die objektive Richtigkeit von Antworten zu ¨ uberpr¨ ufen, operationalisieren andere

13

Forscher (Couper, 1997, S. 325, auch Bamert und Heidingsfelder, 2001, S. 176, Tuten et al., 2002, S. 16) Datenqualit¨ at pragmatisch und beschr¨ anken sich allein auf Meta-Daten einer Erhebung wie z. B. den Umfang der Antworten auf offene Fragen, die Anzahl der Inkonsistenzen und offensichtlichen Falschangaben und die Anzahl der Antwortverweigerungen auf einzelne Fragen (Item-Nonresponse). Diese einfache Vorgehensweise hat den Vorteil, dass keine Vergleiche zwischen mehreren Erhebungen oder mit externen Daten n¨ otig sind und damit dieses Maß selbst eine relativ hohe Reliabilit¨ at besitzt.

De Leeuw und Van Der Zouwen (1988, S. 286) thematisieren die Problema-

meta-analytisch f¨ unf wichtige, in der Literatur verwendete Indikatoren:

(1) Genauigkeit im Vergleich mit externen Quellen (z. B. Melderegister)

(2) Konsistenz beim Vergleich mit anderen Erhebungsmodi

(3) Tats¨ achlich beantwortete Fragen (nur substanzielle Antworten)

(4) Informationsmenge, d. h. Ausf¨ uhrlichkeit der Antworten

(5) Abwesenheit von Effekten durch soziale Erw¨ unschtheit

F¨ ur G¨ utekriterien von Befragungsergebnissen gilt offenbar, dass sie entweder einfach zu berechnen sind und damit ein verk¨ urztes Abbild der Qualit¨ at liefern (d. h. selbst eine geringe Validit¨ at haben) oder nur unzuverl¨ assig gesch¨ atzt werden k¨ onnen. Vielleicht ist das ein Grund, warum Fehlermodelle in der Methodenliteratur h¨ aufig den G¨ utekriterien vorgezogen werden, denn ihre einzelnen Komponenten sind mit vertretbarem Aufwand relativ genau berechenbar. Außerdem ist es ¨ ublich, die

Fehler auch einzeln zu berichten, so dass ein Vergleich mit anderen Studien m¨ oglich ist.

2.2.2 Das Fehlermodell von Groves

Im Gegensatz zu G¨ utekriterien verfolgen Fehlermodelle eine andere Logik. Hier wird eine ideale Umfragesituation angenommen und jede Abweichung von diesem Idealzustand als Fehler interpretiert. Groves (1987, 1989, S. VI) unterscheidet in seinem oft zitierten Fehlermodell f¨ ur Befragungen ² genau vier Typen:

² In der Literatur zu Online-Frageb¨ ogen verwenden z. B. Couper (2000b), Dillman und Bowker (2001), Boˇ snjak (2002) und Lozar Manfreda et al. (2002) das Fehlermodell von Gro-

(1989)

14

(1) Abdeckungsfehler (Coverage Error) treten auf, wenn nicht alle Elemente einer Grundgesamtheit die gleiche Chance haben, in die Stichprobe aufgenommen zu werden. Dies ist insbesondere dann der Fall, wenn Forschungskontakte hilfsweise mit Mitgliedern einer Rahmengesamtheit (z. B. Haushalte mit Telefonanschluss) gemacht werden, weil nicht alle Elemente der Grundgesamtheit erreichbar oder identifizierbar sind. Das Missverh¨ altnis zwischen Grund- und Rahmengesamtheit wirkt sich in Form von Abdeckungsfehlern auf die Ergebnisse aus (vgl. Couper, 2000b, S. 467). Wie in Kapitel 2.1.2 (S. 6) beschrieben, sind Online-Befragungen besonders von dieser Fehlerart betroffen.

(2) Als Stichprobenfehler (Sampling Error) bezeichnet Groves Ungenauigkeiten von Sch¨ atzwerten, die dadurch entstehen, dass die relevanten Informationen nicht f¨ ur jedes Element der Grundgesamtheit vorliegen. Die Gr¨ oße der Stichprobe und die Aussch¨ opfungsquote determinieren das Ausmaß dieser Fehlerart. Hier ist auch die Ursache f¨ ur das h¨ aufige Missverst¨ andnis großer Stichproben zu suchen: In der Annahme, allein eine große Stichprobe f¨ uhre zu qualitativ besseren Ergebnissen, werben einige Umfrageforscher penetrant um Teilnehmer. Trotzdem sind Ergebnisse von Studien mit enormen Stichprobengr¨ oßen - Perspektive Deutschland (2003) berichtet bspw. mehr als 360 000 Befragte - nicht automatisch valide (vgl. Schultheiß, 2002, Wermelskirchen, 2002). Ab einer Stichprobe von einigen Tausend F¨ allen steht die weitere Verringerung des Stichprobenfehlers in keinem Verh¨ altnis zu den damit verbundenen negativen Auswirkungen auf Abdeckungs- und Messfehler (vgl. Couper, 2000b, S. 473ff.).

(3) Messfehler (Measurement Error) entstehen durch die Ungenauigkeit der Antworten bei der Anwendung eines Befragungsinstruments. Diese Fehlerart l¨ aßt sich nach ihren Verursachern weiter untergliedern (¨ ahnlich Esser, 1986b, S. 40, auch Sudman et al., 1996, S. 9):

(3a) Interviewer: Alle Ein߬ usse, die durch das Verhalten (Irrtum, falsche Fra-

Befragter: Korrelate

Fragebogen: Fehler

(3d) Situation: Einfl¨ usse des Modus und der ¨ außeren Umst¨ ande einer Befragung (z. B. Anwesenheit Dritter)

(4) Nonresponse Fehler entstehen durch Antwortausf¨ alle, die typischerweise in zwei Formen auftreten: Ein Item-Nonresponse liegt vor, wenn Befragte einige Fragen nicht beantworten und somit f¨ ur einzelne Variablen keine inhaltlichen Messwerte vorliegen. Fehlt dagegen ein ganzer Fall im Datensatz - die Zielperson ist nicht erreichbar oder verweigert die Zusammenarbeit komplett - so handelt es sich um ein Unit-Nonresponse (auch Schnell, 1997, S. 17, ¨ ahnlich Esser, 1986b, S. 43). Die Problematik von freiwilligen oder selbst-selektierten Stichproben l¨ asst sich ebenfalls als Nonresponse Fehler einordnen. Damit ist z. B. auch die dramatische Fehlprognose im mittlerweile klassischen Beispiel des Literary Digest Poll auf diese Fehlerart zur¨ uckzuf¨ uhren (vgl. Bryson, 1976).

Es ist offensichtlich, dass zwischen diesen Fehlertypen Abh¨ angigkeiten existieren: Ein hoher Nonresponse-Fehler verst¨ arkt automatisch den Stichprobenfehler und zus¨ atzlich den Abdeckungsfehler, wenn die Antwortausf¨ alle systematisch mit Merkmalen der Zielpersonen korrelieren. Daneben k¨ onnen auch Merkmale des Interviewers, des Instruments und der Situation Nonresponses verursachen. Somit ist auch die Trennung zwischen Nonresponse- und Messfehlern mitunter unscharf. Neben diesem Fehlermodell finden sich in der Literatur einige alternative, jedoch nicht substanziell unterschiedliche Klassifikationen (z. B. Fowler und Mangione, 1990, S. 14, Strack, 1994, S. 10, ¨ ahnlich Gr¨ af, 2002, S. 49, auch P¨ otschke und Simonson, 2001, S. 15), die mit dem vorgestellten Modell allerdings nur schwer vereinbar sind und daher aus Gr¨ unden der ¨ Ubersichtlichkeit in der vorliegenden Arbeit ausgespart bleiben.

2.2.3 Typologie von Teilnahmeverhalten bei Web-Befragungen

F¨ ur die Untersuchung von Fragebogeneffekten bei Online-Befragungen ist eine weitere Spezifizierung von Sonderf¨ allen des Nonresponse-Fehlers relevant. W¨ ahrend bei einer schriftlich-postalischen Befragung allenfalls Informationen von beantworteten Frageb¨ ogen analysiert werden, enthalten die Protokolldateien eines Webservers zus¨ atzlich Informationen ¨ uber die reine Rezeption des Fragebogens durch die

Zielpersonen. Bandilla und Boˇ snjak (1999) weisen auf die M¨ oglichkeit hin, mit Hilfe dieser Informationen verfeinerte Muster von Nonresponse-Fehlern zu beobachten. Zu diesem Zweck definieren sie sieben prototypische Antwortverhalten, die sich

16

Abb. 1: Typologie des Antwortverhaltens bei Online-Befragungen (Quelle: Boˇ snjak und Tuten, 2001, eigene Darstellung)

anhand ihrer passiven (Rezeption) und aktiven (Interaktion) Teilnahme an Online-Befragungen charakterisieren (auch Boˇ snjak und Tuten, 2001). Abbildung 1 (Seite 17) veranschaulicht diese beiden Komponenten grafisch, wobei f¨ ur jede Zielperson die Anzahl der rezipierten Fragen (auf der Abszisse) der Anzahl der von ihr tats¨ achlich beantworteten Fragen (auf der Ordinate) gegen¨ ubergestellt wird. Da Befragte niemals mehr Fragen beantworten k¨ onnen als sie sehen, liegt die Menge aller m¨ oglichen Teilnahmeverhalten unterhalb der Winkelhalbierenden. Boˇ snjak und Tuten (2001) benennen die Extrempunkte dieser Menge wie folgt: Im Ursprung liegen die klassischen Unit-Nonresponses, die nicht mit der Bearbeitung des Fragebogens beginnen. Diametral dazu sind die Complete Respondents verortet, die alle Fragen beantworten. Item-Nonresponses ³ bearbeiten zwar auch den kompletten Fragebogen, lassen dabei aber einige Frage in der Beantwortung aus. Je nach Umfang dieser Ausf¨ alle werden sie an unterschiedlichen Positionen des vertikalen Schenkels abgebildet.

³ Voraussetzung f¨ ur die Beobachtung von Item-Nonresponses ist ein nicht-restriktives, screenbasiertes Design von Online-Befragungen, d. h. die Fragebogensoftware darf die Benutzer nicht zu

einer Antwort zwingen, bevor sie weitere Fragen pr¨ asentiert (Boˇ snjak und Tuten, 2001, S. 6).

17

Bei Online-Befragungen brechen Personen die Bearbeitung des Fragebogens h¨ aufig zwischenzeitlich ab (Knapp und Martin, 1999, S. 3, MacElroy, 2000, S. 1, Bamert und Heidingsfelder, 2001, S. 176, Baker et al., 2002, S. 5, Gunn, 2002, S. 4 und Tuten et al., 2002, S. 18). Je nachdem, ob vor dem Abbruch schon einzelne Werte ausgelassen wurden, werden Sie als Dropouts auf, oder als Item-Nonresponding Dropouts unter der Winkelhalbierenden notiert. Lurker hingegen klicken sich aus Neugier oder professionellem Interesse durch den Fragebogen, ohne eine Frage zu beantworten und werden in Abh¨ angigkeit von ihrem Durchhalteverm¨ ogen auf der Abszisse verortet.

Neben den Complete Respondents k¨ onnen Item- und Unit-Nonresponses bei allen Befragungsverfahren beobachtet werden. Dropouts k¨ onnen in pers¨ onlichen und telefonischen Interviews zwar theoretisch vorkommen, allerdings werden sie in der Literatur bestenfalls erw¨ ahnt aber nicht systematisch untersucht (z. B. Groves et al., 1988, S. 198, oder Schnell, 1997, S. 123). Boˇ snjak (2002, S. 20) vermutet, dass die Fallzahlen von Abbr¨ uchen bei klassischen Befragungen bedeutungslos gering seien und diese F¨ alle dann den Unit-Nonresponses zugeordnet werden. Die Lurker sind schließlich ein online-spezifisches Ph¨ anomen (ADM, 2001, S. 5).

2.3 Verfahren zur Teilnehmerrekrutierung

Sowohl das Teilnahmeverhalten als auch die Generalisierbarkeit der Ergebnisse von Online-Befragungen wird durch die Art der Teilnehmerrekrutierung bestimmt. Die Teilnehmerrekrutierung steht zwar nicht in direktem Zusammenhang mit Fragebogeneffekten; da es sich dabei allerdings um eine elementare Problematik von Online-Befragungen handelt (vgl. Hauptmanns und Lander, 2001), wird der folgende Exkurs zum Verst¨ andnis der Besonderheiten der Online-Technologie beitragen.

2.3.1 Deterministische Verfahren

Couper (2000b, S. 477) unterscheidet acht Methoden, um Zielpersonen f¨ ur Online-Befragungen zu definieren und anzusprechen. Diese teilt er wiederum in Zufallsverfahren und deterministische Verfahren ein (Tabelle 2, S. 19). Zu den deterministischen Verfahren z¨ ahlen neben den in Kapitel 2.1.1 (S. 5) besprochenen ” Spaß-Abstimmungen“ (1) ⁴ auch Online-Frageb¨ ogen ohne Zugriffsbeschr¨ ankungen, auf die durch Webseiten oder Suchmaschinen per Link oder Banner aufmerksam gemacht wird (2). Dabei ist es irrelevant, ob die Nutzer sofort um die Bearbeitung eines Fragebogens gebeten werden oder zun¨ achst nur Kontakt- und soziodemografische

⁴ Die Zahlen in Klammern beziehen sich auf die fortlaufende Nummerierung in Tabelle 2.

18

Deterministische Verfahren Zufallsverfahren

1. Unterhaltungsumfragen 4. Stichprobe aus Liste der Grundgesamtheit

2. uneingeschr¨ ankte Selbstselektion 5. vorbereitetes Panel der Internetnutzer 3. freiwillige Opt-in Panels 6. vorbereitetes Panel der Gesamtbev¨ olkerung

Daten angeben, um sie als Mitglieder eines sogenannten Access-Panels (3) bei Bedarf zur Bearbeitung von Online-Umfragen einzuladen (Starsetzki, 2001, S. 45ff., auch G¨ oritz, 2001, S. 74ff.). In allen drei F¨ allen hat im Prinzip jeder Online-Nutzer die M¨ oglichkeit, an einer Befragung teilzunehmen und entscheidet selbst, ob und wie oft er das tut.

F¨ ur die Aussagekraft der Ergebnisse von deterministischen Rekrutierungsverfahren bedeutet dies, dass die Stichprobe nicht nur typische Online-Nutzer (jung, gebildet, hohes Einkommen) ¨ uberrepr¨ asentiert (vgl. Batagelj et al., 1998, S. 17),

sondern eine zus¨ atzliche Verzerrung durch die Selbstselektion auftritt: Personen mit hohem generellen Interesse an Befragungen oder am speziellen Thema einer Umfrage werden wahrscheinlich h¨ aufiger teilnehmen als weniger interessierte Personen (Hauptmanns und Lander, 2001, S. 35). Da die abgefragten Einstellungen oder Verhaltensmuster mit hoher Wahrscheinlichkeit mit dem Interesse korrelieren (Kaye und Johnson, 1999, S. 326) - und der Forscher die Gr¨ oßenordnung des Zusammenhanges bestenfalls sch¨ atzen kann (Lukawetz, 2002, S. 401, Boˇ snjak, 2001, S. 88) - k¨ onnen Ergebnisse aus solchen Umfragen nicht verallgemeinert werden. Best und Krueger (2002, S. 77) zeigen außerdem, dass solche Verzerrungen entgegen der verbreiteten Meinung nur sehr bedingt durch ein Gewichtungs- oder Randausgleichsverfahren korrigierbar sind (auch Couper, 2000b, S. 479 und Vehovar, Batagelj, Lozar Manfreda und Zaletel, 2002, S. 18).

19

2.3.2 Zufallsverfahren

Kommen dagegen Rekrutierungsmechanismen mit Zufallsverfahren zum Einsatz, so sind Verzerrungen durch Selbstselektion und Mehrfachteilnahme im Ansatz eingeschr¨ ankt. Die Verfahren (4) bis (6) funktionieren sehr ¨ ahnlich: In jedem Fall existiert eine Liste, aus denen Zielpersonen zur Befragung aufgefordert werden. Da es keine Liste der Gesamtbev¨ olkerung oder aller Internetnutzer gibt, kann Methode (4) nur bei begrenzten Populationen mit hoher Internetabdeckung eingesetzt werden, was z. B. auf die in Kapitel 2.1.3 (S. 12) beschriebenen organisationsinternen Befragungen zutrifft. Die Panel-Listen f¨ ur Verfahren (5) und (6) m¨ ussen repr¨ asentativ f¨ ur die jeweilige Grundgesamtheit (Internetnutzer bzw. Gesamtbev¨ olkerung) sein und daher mit probaten, herk¨ ommlichen Verfahren (Telefonbuch- oder Random-Route) zusammengestellt werden (Starsetzki, 2001, S. 52). Ein f¨ ur die Gesamtbev¨ olkerung repr¨ asentatives Online-Panel verspricht zwar aussagekr¨ aftigere Daten (Smith, 2003, S. 168), ist aber mit hohem finanziellem Aufwand verbunden, denn die Forschungsinstitute stellen die Technik f¨ ur Personen ohne Internetanschluss bereit (Couper, 2000b, S. 489).

Ansprache durch Unterbrechung“ (7, auch N ^th Visit genannt) erfolgt Bei der ”

die Rekrutierung wiederum ohne Medienbruch. Dazu wird jedem N -ten Besucher einer Webseite eine Einladung zur Teilnahme am Online-Fragebogen eingeblendet und damit seine gewohnte Nutzung dieses Internetangebots unterbrochen (Pfleiderer, 2001). W¨ ahlt man den Parameter N ausreichend groß, so ist es unwahrscheinlich, dass Personen mehrfach teilnehmen und ” professionelle“ Umfrage- und Panelteilnehmer den Fragebogen bewusst ansteuern (Comley, 2002, S. 4). Starsetzki (2001, S. 48) meint, dass mit N ^th Visit zumindest f¨ ur die Besucher von einzelnen Webseiten repr¨ asentative Stichproben gezogen werden k¨ onnen (auch ADM, 2001, S. 2). Bei der Interpretation muss allerdings beachtet werden, dass dieser Kompromiss keine Stichprobe von Personen, sondern von Ereignissen zieht. Die Zuordnung von Seitenabrufen oder Visits zu Nutzern ist nicht m¨ oglich, was Werner (2002) treffend mit

“Visits does not mean visitors” (S. 257)

ausdr¨ uckt. Auch Comley (2000, S. 5) diskutiert diese Problematik eingehend und empfiehlt, Visits als Grundlage f¨ ur die Stichprobenziehung zu verwenden. Als Visit werden in der Online-Reichweitenforschung zusammenh¨ angende Seitenabrufe von einem Browser (sog. Page Impressions) bezeichnet.

Problematisch beim N ^th Visit-Verfahren sind allerdings die erfahrungsgem¨ aß

20

sehr niedrigen Antwortraten zwischen 5 % und 15 % (Boˇ snjak, 2002, S. 43, auch Couper, 2000b und Comley, 2002, S. 4). Vermutlich unterscheiden sich die Teilnehmer von Nicht-Teilnehmern systematisch, so dass die Ergebnisse von einer Verzerrung durch Antwortverweigerung (Nonresponse bias) beeintr¨ achtigt werden (vgl. Couper, 2000b, S. 485).

Einige Befragungsinstitute bieten ihren Zielpersonen in sog. Mixed Mode Strategien die M¨ oglichkeit, alternativ zu einem schriftlichen oder telefonischen Interview einen Online-Fragebogen zu bearbeiten (8). Die Teilnehmerrekrutierung erfolgt hier in der Regel per Brief oder Telefon, bevor die Zielpersonen den Fragebogen und bei Bedarf weitere Erinnerungsschreiben per Brief oder E-Mail erhalten. Boˇ snjak (2002, S. 42) unterscheidet dabei sequenzielle und parallele Mixed Mode Strategien. Sequenzielle Strategien dienen dabei in erster Linie der Reduzierung von Unit-Nonresponses, indem die Wahrscheinlichkeit der Erreichbarkeit von Zielpersonen erh¨ oht, und gleichzeitig den individuellen Pr¨ aferenzen der Zielpersonen Rechnung getragen wird. Dillman et al. (2001) stellen in einer systematischen Untersuchung mit f¨ unf unterschiedlichen Mixed Mode Sequenzen fest, dass auf diese Weise die Antwortrate deutlich verbessert werden kann (auch Dillman, 2002, S. 9). Sills und Chunyan (2002, S. 27) berichten von einer beispielhaften Vorgehensweise, die f¨ ur selbst-administrierte Befragungen erstaunliche 72 % R¨ ucklaufquote erzeugte. Parallele Mixed Mode Strategien werden dagegen haupts¨ achlich in der Methodenforschung eingesetzt und eignen sich zur Analyse von Effekten des Modus bzw. der Technologie. Allerdings werden parallele Strategien in der Literatur in verschiedenen Untersuchungsdesigns implementiert, was die Vergleichbarkeit der Ergebnisse einschr¨ ankt (Batinic, 2001, S. 122). Entscheidend f¨ ur die Aussagekraft der Ergebnisse ist dabei das Verfahren, mit dem die Zielpersonen auf die zu testenden Modi verteilt werden. Nur bei zuf¨ alliger Gruppenzuteilung durch den Forscher entsteht ein experimentelles Split-Ballot Design (Petersen, 2002), das Kausalaussagen ¨ uber Mode- und Technologieeffekte erm¨ oglicht (s. Strack, 1994, S. 23, auch Noelle-Neumann und Petersen, 1998, S. 192ff.). Bei quasi-experimentellen Designs ist die Gruppenzuordnung dagegen durch Merkmale der Zielpersonen vorbestimmt. Forscher, die alle Zielpersonen mit bekannter E-Mail-Adresse zu einem Online-Fragebogen einladen und allen anderen einen Fragebogen per Post schicken, verwenden dabei bspw. ein implizites Merkmal der Befragten zur Gruppenaufteilung. Haben die Teilnehmer allerdings selbst die Wahl, welche Version eines Fragebogens sie ausf¨ ullen wollen, so handelt es sich um ein explizites Merkmal. In diesem Fall ist die Aussagekraft von Befunden ¨ uber m¨ ogliche Mode-Unterschiede am ge-

21

ringsten. Abbildung 2 (S. 22) ordnet einige on- und offline vergleichende Studien anhand der getroffenen zweistufigen Design-Entscheidung ein. Zusammenfassend kann man festhalten, dass die Qualit¨ at und Ernsthaftigkeit einer Online-Befragung durch die Art der Teilnehmerrekrutierung bestimmt wird. Sollen Aussagen auf die Gesamtbev¨ olkerung verallgemeinert werden, so muss bei der Rekrutierung auf Offline-Verfahren zur¨ uckgegriffen werden. Wenn abgegrenzte Populationen mit hoher Erreichbarkeit im Internet (Mitglieder von Organisationen, Studierende, Besucher einer Webseite, Kunden eines Online-Shops usw.) untersucht werden, so k¨ onnen N ^th Visit oder listenbasierte Zufallsverfahren zum Einsatz kommen. Deterministische Verfahren eignen sich dagegen eher f¨ ur experimentelle Designs und explorative Studien.

2.4 Status Quo der empirischen Online-Fragebogenforschung

Obwohl fr¨ uhe Arbeiten zur Entwicklung von Online-Frageb¨ ogen nicht von Umfrageforschern, sondern eher von Programmierern stammen, die sich der Thematik eher aus technisch-normativer Perspektive gen¨ ahert haben, sind die theoretischen Ansatzpunkte der Online-Fragebogenforschung prim¨ ar in der traditionellen sozialwissenschaftlichen Umfrage- und Methodenforschung zu suchen (Dill- man und Bowker, 2001,auch Gunn, 2002, S. 12). Besonders Wissenschaftler, die auf dem Gebiet der selbst-administrierten Frageb¨ ogen t¨ atig sind, besch¨ aftigten sich auch mit der Online-Variante. Sie erkannten, dass zwar einige Erkenntnisse zur Fragebogengestaltung aus ihrem Gebiet ¨ ubertragbar sind, aber trotzdem der Tech-

22

nologieunterschied eine Revision der bisherigen Offline-Befunde erfordert (P¨ otschke und Simonson, 2001, S. 9, Dillman et al., 2001, S. 7, Lozar Manfreda et al., 2002, S. 5f.). Neuere Publikationen zeigen Tendenzen einer weiteren Ausdifferenzierung der Online-Fragebogenforschung als eigenes Erkenntnisgebiet, das neben kognitionspsychologischen Aspekten aus der Interviewer-basierten Umfrageforschung auch zunehmend Gebiete wie die experimentellen Usability-Forschung und die Mensch-Maschine-Kommunikation integriert (z. B. Fuchs, 2002, Tourangeau, Couper und Steiger, 2003).

Tuten et al. (2002, S. 7) teilen die Literatur zu Internetbefragungen grob in zwei Kategorien: Zu den “How to do it”-Artikeln z¨ ahlen normative Anleitungen und Empfehlungen zur Durchf¨ uhrung einer Internetbefragung, deren Prinzipien allerdings experimentell wenig untermauert sind (Lozar Manfreda et al., 2002, S. 4, auch Boˇ snjak, 2002, S. 60). Die Principles for Constructing Web Surveys von Dillman et al. (1998), die Checklisten zum Web Survey Design von Kaye und Johnson (1999, S. 331) und die (deutschsprachigen) Fehlerlisten mit anschließend abgeleiteten Leitlinien von Gr¨ af (1999, S. 159ff.) seien an dieser Stelle stellvertretend genannt und bieten Anhaltspunkte bei der Umsetzung von Online-Fragebogenprojekten (auch Dillman, 2000, S. 376ff., Dillman und Bowker, 2001, S. 11f. und Gr¨ af, 2002, S. 59ff., weitere Prinzipien bei Comley, 2000, S. 3f., Pfleiderer, 2001, S. 59 und Baker et al., 2002, S. 10). Grundlagen der Internet-Technik finden sich bei Tischer und Jennrich (1997), allgemeine ¨ Uberlegungen zur Gestaltung von benutzerfreundlichen Anwendungen im Internet bei Nielsen (2000), und als Anleitungen zur Programmierung von Internet-Frageb¨ ogen sind bspw. Baron und Siepmann (2000) und Schmidt (2000) einschl¨ agig. Aufgrund ihres deskriptiv-subjektiven Charakters wird in der vorliegenden Arbeit auf eine Darstellung und Diskussion der einzelnen Empfehlungen und Vorschl¨ age verzichtet. Die zweite Kategorie bilden empirische Untersuchungen zur Wirkung von einzelnen Merkmalen in Online-Befragungen, wobei als abh¨ angige Variable meistens Indikatoren f¨ ur Datenqualit¨ at (z. B. Nonresponses) untersucht werden (Tuten et al., 2002, S. 7). Der folgende R¨ uckblick ¨ uber die wesentlichen Befunde dieser Art gliedert sich nach den untersuchten unabh¨ angigen Variablen.

2.4.1 Befunde zu Merkmalen der Befragten

Soziodemografika und Pers¨ onlichkeitseigenschaften

Bei Online-Befragungen werden zwar regelm¨ aßig schon in der Stichprobe die Soziodemografika der typischen Internetnutzer ¨ ubergewichtet (z. B. Batagelj et al.,

23

1998, S. 17, auch Couper, 2000b, S. 472), Unterschiede im Verhalten nach der Teilnahmeentscheidung - konkret Item-Nonresponse und Dropout - konnten aber in mehreren Sekund¨ aranalysen von groß angelegten Online-Studien nicht festgestellt werden (Vehovar, Lozar Manfreda und Batagelj, 2000b, Vehovar, Koren und Lozar Manfreda, 2002). Boˇ snjak (2002, S. 49) bemerkt dazu, dass diese Analysen den Einfluss von soziodemografischen Merkmalen aufgrund der Homogenit¨ at der Internetnutzer untersch¨ atzen k¨ onnten.

Nur eine von Boˇ snjak (2002, S. 51) zitierte, unver¨ offentlichte Studie von Tuten, Boˇ snjak und Glascoff (2001) untersucht explorativ m¨ ogliche Zusammenh¨ ange zwischen Pers¨ onlichkeitseigenschaften und der Teilnahme an Online-Befragungen. Zu diesem Zweck werden die in einem lexikalischen Verfahren ermittelten Pers¨ onlichkeitsdimensionen Neurotizismus, Extraversion, Offenheit f¨ ur Erfahrungen, soziale Vertr¨ aglichkeit und Gewissenhaftigkeit (sog. Big Five, Costa und McCrae, 1992) mit der Anzahl der Teilnahmen an einer f¨ unfwelligen Panel-Untersuchung korreliert. Lediglich f¨ ur die Dimension Gewissenhaftigkeit liegt ein kleiner positiver Zusammenhang vor (r = 0.12, p < 0.01).

Einstellungen zum Thema

Mehrere Autoren betonen die Bedeutung des Interesses am Thema einer Befragung (Dillman, 2000, S. 16, Boˇ snjak und Tuten, 2001, S. 3, f¨ ur Offline-Befragungen auch Goyder, 1987, S. 118ff., sowie Schnell, 1997, S. 181). Couper (1997, S. 320) erkl¨ art den Einfluss der Themensalienz ⁵ theoretisch: Demnach investieren Befragte bei uninteressanten Themen weniger kognitive Energie in die Beantwortung des Fragebogens, was zu einer verringerten Datenqualit¨ at f¨ uhrt. Empirische Befunde unterst¨ utzen diese Annahme auch f¨ ur Online-Befragungen: In einer Mehrthemenumfrage mit experimentell variierter Themenfolge wurden bei interessant bewerteten Themen weniger Dropouts und Item-Nonresponses beobachtet als bei uninteressanten Themen (Vehovar et al., 2002, S. 10, auch Lozar Manfreda et al., 2002, S. 18). Passend zu diesem Einzelbefund ermitteln Cook, Heath und Thompson (2000, S. 832) in einer Meta-Analyse von 56 Online-Befragungen eine leicht positive Korrelation zwischen Themensalienz und R¨ ucklaufquote. Die Tragweite dieser Ergebnisse ist allerdings durch die aggregierte Analysebene eingeschr¨ ankt: Die Befunde zeigen auf, dass Umfragen zu allgemein salienten Themen eine erh¨ ohte R¨ ucklaufquote erhalten. Dem Verfasser ist allerdings keine Untersuchung

⁵ Das Konstrukt Themensalienz setzt sich in diesem Kontext aus den Komponenten kognitive Verf¨ ugbarkeit und pers¨ onliche Relevanz zusammen (Boˇ snjak, 2002, S. 53).

24

bekannt, die Zusammenh¨ ange zwischen individuellem Themeninteresse der Zielpersonen und Variablen wie Teilnahmebereitschaft oder Abbruchwahrscheinlichkeit bei Online-Befragungen untersucht.

Einstellungen zur Technologie

Es ist offensichtlich, dass mangelnde Erfahrung im Umgang mit Computern und speziell dem Internet eine z¨ ugige und reflektierte Bearbeitung von Online-Frageb¨ ogen beeintr¨ achtigen kann (Bowker und Dillman, 2000, S. 3 auch Dillman, 2000, S. 358). Bandilla (2002, S. 4) findet daf¨ ur sekund¨ aranalytische Belege, indem er Trenddaten der per Selbstselektion erhobenen GVU-Umfragen (o. Jg.) mit Zeitreihen ¨ uber den weltweiten Zuwachs an Internetanschl¨ ussen vergleicht. Es bleibt jedoch eine offene Forschungfrage, ob Effekte der Computer-Literacy durch den Einsatz von ausf¨ uhrlichen Bedienungsanweisungen und adaptiven Erkl¨ arungen verringert werden k¨ onnen (Lozar Manfreda et al., 2002, S. 23). Ein erster Hinweis, dass Befragte mit besonderer Expertise im Umgang mit dem Internet keine unterschiedlichen Antwortverhalten zeigen, findet sich bei Reips (2002a, S. 75). Er vergleicht dazu das Teilnahmeverhalten an einem Online-Experiment zwischen studentischen Versuchspersonen und Teilnehmern, die einem Aufruf auf der f¨ ur Themen der Online-Forschung spezialisierten Mailingliste gir-l ⁶ gefolgt sind. Einen positiven Zusammenhang zwischen Nutzungsintensit¨ at (operationalisiert durch die Dauer der t¨ aglichen Internetnutzung) und der Teilnahmebereitschaft an Online-Umfragen berichten Batagelj et al. (1998, S. 17, auch Lukawetz, 2002, S. 405). Dieser Effekt kann durch drei sich gegenseitig verst¨ arkende Einfl¨ usse erkl¨ art werden: Erstens steigt mit l¨ angerer Internetnutzung die Wahrscheinlichkeit, eine Teilnahmeauffordeung wahrzunehmen. Zweitens sind f¨ ur Personen, die ein hohes Zeitbudget f¨ ur Internetnutzung aufwenden, die Opportunit¨ atskosten durch die Bearbeitung einer Umfrage geringer, was die Teilnahmeentscheidung in einem rationalen Entscheidungsmodell beg¨ unstigt. Drittens korreliert eine erh¨ ohte Nutzungsintensit¨ at positiv mit der Technologieaffinit¨ at und wirkt sich als motivationaler Faktor auf die Teilnahmeentscheidung aus (vgl. Lukawetz, 2002, S. 411). Ob auch die H¨ ohe der individuellen Verbindungskosten f¨ ur den Internetzugang die Teilnahmebereitschaft beeinflusst, wurde selten untersucht. Allein Lozar Manfreda et al. (2002, S. 16) stellen in einer experimentellen Studie zur Untersuchung von grafischen Fragestimuli eine moderierende Rolle des Kostenfaktors fest. Sheehan (2002, S. 8) berichtet schließlich einen Einfluss der individuellen Re-

⁶ http://www.online-forschung.de/index.htm/gir-l/

25

aktionszeit, die zwischen Aussendung der Teilnahmeaufforderung per E-Mail und Bearbeitung eines Online-Fragebogens verstreicht. Demnach unterscheiden sich die Antworten zwischen fr¨ uhen und sp¨ aten Teilnehmern qualitativ, was die Validit¨ at von vorl¨ aufigen Auswertungen einer Online-Umfrage infrage stellt.

Selbstberichtete Teilnahmemotive

Boˇ snjak und Batinic (2002, S. 84) verzichten auf die sekund¨ aranalytische Suche nach Korrelationen zwischen Indikatoren der Datenqualit¨ at und stellen stattdessen in einer explorativen Studie zun¨ achst offene Fragen zu Teilnahmemotiven bei wissenschaftlichen E-Mail-Befragungen (eine ¨ ahnliche Studie mit treuen Panel-Teilnehmern beschreiben Porst und Briel, 1995). Die in einem iterativen Verfahren codierten Antwortkategorien wurden dann in einer nachgelagerten Rating-Prozedur einzeln bewertet. Das Motiv Neugier steht demnach auf Platz eins der Rangliste vor Einen-Beitrag-f¨ ur-die-Forschung-leisten, Selbsterfahrung und materielle Anreize (auch Boˇ snjak und Batinic, 1999, S. 148, Batinic und Boˇ snjak, 2000, S. 307). Neben einer angebrachten Skepsis gegen Selbstauskunftsverfahren k¨ onnte die Validit¨ at dieser Befunde durch das Alter der Daten beeintr¨ achtigt sein: 1996 (s. Boˇ snjak und Batinic, 2002, S. 82) war das Medium Internet deutlich weniger allt¨ aglich, so dass vermutlich der Reiz des Neuen heute belangloser ist.

Eine grunds¨ atzliche Schwierigkeit bei der systematischen Untersuchung von Merkmalen der Befragten als Determinanten f¨ ur die Teilnahmebereitschaft liegt in der Erhebung dieser Merkmale. Diese muss unabh¨ angig von dem zu untersuchenden Forschungskontakt erfolgen. Unterstellt man eine tendenzielle Verhaltenskonsistenz der Zielpersonen, so sollte die Erhebung der unabh¨ angigen Variablen auf wesentlich andere Art stattfinden - idealerweise in einem nicht-reaktiven Verfahren - um eine Konfundierung mit der abh¨ angigen Variable Teilnahmebereitschaft auszuschließen. Die erh¨ ohte Komplexit¨ at dieser mehrstufig angelegten Untersuchungen k¨ onnte ein Grund f¨ ur die geringe Anzahl prospektiver Studien auf diesem Gebiet sein.

2.4.2 Befunde zu Merkmalen des Instruments

Die Merkmale des Instruments liegen vollst¨ andig unter der Kontolle des Forschers und k¨ onnen mit Split-Ballot Experimenten systematisch untersucht werden (Pe- tersen, 2002,sowie Vehovar et al., 2002, S. 236).

26