Evaluationen sind allgegenwärtig geworden. Produktrezensionen im Internet, ex-ante durchgeführte Evaluationen ökonomisch wichtigerer Entscheidungen in der Wirtschaft, und nicht zuletzt die Evaluationen der Lehrqualität sowie der Leistungen der Studierenden im universitären Kontext, um nur ein paar zu nennen. Die Heterogenität bezüglich der Untersuchungssubjekte, –objekte sowie der angewandten Methoden von Evaluation wird bereits in dieser kurzen Aufzählung offensichtlich.
Diese Arbeit wird sich mit Evaluation mithilfe der Vergleichsgruppenmethode auseinandersetzen. Zu diesem Zweck wird die eingangs darlegen, was unter dem Begriff Evaluation zu verstehen ist, deren Zweck erläutern, ihre Grundstruktur skizzieren und erste methodisch-theoretische Unterscheidungen und Klassifizierungen vornehmen. Das Kapitel abschließend werden einige Evaluationsmethoden dargestellt.
Anschließend wird sich diese Arbeit genauer dem Begriff der Vergleichsgruppenevaluationsmethode zuwenden. Analog zum vorherigen Abschnitt, wird auch hier zunächst deren Funktionsweise dargelegt.
Nachdem die Grundlagen dieser Evaluationsmethode hinreichend dargelegt wurden, wird diese Arbeit in der Folge die Stärken und Schwächen der Vergleichsgruppenmethodenevaluation in ihrer Reinform herausarbeiten.
Abschließend sollen die herausgearbeiteten und dargelegten Schwächen der Vergleichsgruppenmethode noch einmal betrachtet werden um potentielle Methoden der Optimierung ihrer Ergebnisse zu ermöglichen.
Inhaltsverzeichnis
0) Wer? Wie? Was?
1) Was bedeutet Evaluation?
2) Was bedeutet Evaluation anhand von Vergleichsgruppen?
2.1) Welche Stärken hat die Evaluation mit Vergleichsgruppen?
2.2) Welche Schwächen hat die Evaluation anhand von Vergleichsgruppen?
2.2.1) Selection Bias
2.2.2) Substitution Bias
2.2.3) Randomization Bias
3) Wie kann man eine Verzerrung der Evaluationsergebnisse verhindern?
4) Schlussfolgerungen
Zielsetzung & Themen
Diese Arbeit analysiert die Methode der Evaluation mithilfe von Vergleichsgruppen, um deren Funktionsweise, wissenschaftliche Gütekriterien sowie spezifische Herausforderungen zu beleuchten und Optimierungsansätze aufzuzeigen.
- Grundlagen und Definition des Begriffs Evaluation
- Prinzipien der Vergleichsgruppenmethode in der Forschung
- Analyse der Stärken und Schwächen sowie statistischer Verzerrungsrisiken
- Methoden zur Vermeidung von Verzerrungen, insbesondere das Matching-Verfahren
- Ethische Aspekte und Grenzen der Anwendung
Auszug aus dem Buch
2.2.1) Selection Bias
Die Bezeichnung für eine potentielle systematische Verzerrung der gewonnenen Daten aus den Vergleichsgruppen aufgrund von ungenügender Berücksichtigung des Auswahlverfahrens wird Selection Bias oder Selektionsverzerrung genannt. In anderen Worten: Selection Bias tritt immer dann auf, wenn entweder der Konzeption der Evaluation selbst oder aber realen Einflussfaktoren aus dem untersuchten Teil der „Außenwelt“ ein irgendwie gearteter Prozess der Auswahl inhärent ist, und dieser wiederum zu systematisch fehlerhaften statistischen Rückschlüssen führt. Jahn, seines Zeichens Politikwissenschaftler, gibt hier das Beispiel der Untersuchung der Abhängigkeit zwischen wirtschaftlicher Freiheit und dem allgemeingesellschaftlichen Entwicklungsgrad verschiedener Länder. Wählt man zur Untersuchung einen weiten Rahmen, i.e. bezieht die höchstmögliche Anzahl von Ländern in sie ein, so wird sich das Ergebnis signifikant von dem unterscheiden, das aus der Evaluation der Gruppe der circa drei Dutzend Länder, die die höchste wirtschaftliche Freiheit vorweisen, erzielt würde. Es wird offensichtlich, dass die Auswahl (engl.: selection) der zu untersuchenden Fälle bereits eine Verzerrung (engl. bias) des eigentlichen Bildes darstellt. In der Folge bedeutet eine solche Verzerrung der Darstellung der Realität eine eindeutige Gefährdung der Validität der gesamten Evaluation.
Zusammenfassung der Kapitel
0) Wer? Wie? Was?: Einführung in die Allgegenwart von Evaluationen und Überblick über den strukturellen Aufbau der vorliegenden Arbeit.
1) Was bedeutet Evaluation?: Definition des Begriffs Evaluation sowie Darstellung der wissenschaftlichen Gütekriterien Objektivität, Reliabilität und Validität.
2) Was bedeutet Evaluation anhand von Vergleichsgruppen?: Erläuterung des Kernprinzips, die Auswirkungen eines Stimulus durch den Vergleich von Experimental- und Kontrollgruppen zu messen.
2.1) Welche Stärken hat die Evaluation mit Vergleichsgruppen?: Aufzeigen der methodischen Vorteile hinsichtlich der Einhaltung wissenschaftlicher Standards und der Messbarkeit von Effekten.
2.2) Welche Schwächen hat die Evaluation anhand von Vergleichsgruppen?: Diskussion der Gefahren durch Störeffekte, die die Ergebnisse der Evaluation verfälschen könnten.
2.2.1) Selection Bias: Analyse der systematischen Verzerrung, die durch fehlerhafte Auswahlprozesse bei der Gruppenbildung entstehen kann.
2.2.2) Substitution Bias: Untersuchung des Problems, wenn unvorhergesehene externe Einflüsse die Vergleichbarkeit der Gruppen untergraben.
2.2.3) Randomization Bias: Erörterung der Problematik, wenn die Gruppenbildung nicht repräsentativ für die reale Zusammensetzung der Zielpopulation ist.
3) Wie kann man eine Verzerrung der Evaluationsergebnisse verhindern?: Vorstellung von Matching-Verfahren als Lösungsansatz zur Minimierung von Störfaktoren.
4) Schlussfolgerungen: Zusammenfassende Bewertung der Methode unter Abwägung von wissenschaftlichem Nutzen und ethischen Dilemmata.
Schlüsselwörter
Evaluation, Vergleichsgruppen, Experimentalgruppe, Kontrollgruppe, Selection Bias, Substitution Bias, Randomization Bias, Validität, Reliabilität, Objektivität, Matching, Propensity Score Matching, Forschungsdesign, Datenanalyse, Statistik
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit behandelt die systematische Evaluation von Maßnahmen durch den Vergleich von Gruppen, die einem Stimulus ausgesetzt waren, mit solchen, die dies nicht waren.
Was sind die zentralen Themenfelder der Publikation?
Zentrale Themen sind die Definition von Evaluation, die methodische Struktur der Vergleichsgruppenanalyse sowie die Identifikation und Minimierung statistischer Fehlerquellen.
Was ist das primäre Ziel oder die Forschungsfrage?
Das Ziel ist es, die Vergleichsgruppenmethode zu erklären, ihre Stärken und Schwächen aufzuzeigen und Strategien zur Vermeidung von Ergebnisverzerrungen zu diskutieren.
Welche wissenschaftliche Methode wird primär verwendet?
Die Arbeit nutzt eine literaturbasierte Analyse theoretischer Evaluationsmethoden und wissenschaftlicher Gütekriterien.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in die Definition von Evaluation, die detaillierte Beschreibung der Vergleichsgruppenmethode, die Analyse von Bias-Effekten und die Darstellung von Matching-Verfahren.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit lässt sich primär über Begriffe wie Evaluation, Vergleichsgruppenmethode, Validität, Bias-Effekte und Matching einordnen.
Was unterscheidet den Selection Bias vom Substitution Bias?
Der Selection Bias bezieht sich auf Verzerrungen durch das ursprüngliche Auswahlverfahren der Teilnehmer, während der Substitution Bias durch nachträgliche, unvorhergesehene Einflüsse auf die Kontrollgruppe entsteht.
Warum ist das Matching-Verfahren zur Vermeidung von Verzerrungen wichtig?
Matching ermöglicht es, Individuen aus der Experimental- und Kontrollgruppe gezielt so zuzuordnen, dass Störfaktoren minimiert werden, was die Validität der Ergebnisse deutlich erhöht.
Welches ethische Dilemma wird bei der Vergleichsgruppenevaluation angesprochen?
Das Dilemma besteht darin, dass Teilnehmern der Kontrollgruppe potenziell nützliche Leistungen oder Fortschritte vorenthalten werden, um eine saubere statistische Messung zu ermöglichen.
- Quote paper
- Julian Schürholz (Author), 2010, Evaluation anhand von Vergleichsgruppen, Munich, GRIN Verlag, https://www.hausarbeiten.de/document/154663
