Die Evaluation oder genauer gesagt die Evaluationsforschung, also die Bewertung von bestimmten Maßnahmen hinsichtlich ihrer Wirkung, stellt in der Politikwissenschaft bis dato leider immer noch einen recht unterbesetzten Forschungszweig dar. Selbst die bekanntesten Methoden der Evaluationsforschung wie etwa Matching Verfahren, Difference-in-Differences Modelle oder Regression Disconituity sind dort nur selten vorzufinden. Und in der Tat musste leider auch ich bei meinen Vorbereitungen zu dieser Arbeit feststellen, dass die meisten Texte die sich dieser Methoden bedienen, meist im medizinischen oder wirtschaftswissenschaftlichen Forschungssektor angesiedelt sind.
Dabei können solche Evaluationsverfahren auch, oder gerade in der Politikforschung, sowie der Politikberatung von immensem Interesse sein. Schließlich kann nur mit Hilfe von ihnen die Qualität sowie die Effektivität von bestimmten Maßnahmen bestimmt und dadurch auch verbessert werden. Aber auch die Auswirkung bestimmter Ereignisse, wie etwa die des Elbhochwassers auf die Bundestagswahlen (s. Bechtel & Heinmueller 2010) oder die Auswirkungen eines Amtsinhaberbonus auf den Wahlausgang (s. Lee 2001).
Leider ist es eben dieser relativ geringen Verfügbarkeit von politikwissenschaftlichen Studien die mit Methoden der Evaluationsforschung arbeiten geschuldet, dass ich mich auch im Folgenden mit einem Text aus dem ökonomischen Bereich befassen werde. Dabei handelt es sich um eine Studie von Bergemann et al. über die Auswirkungen von Schulungsmaßnahmen durch die Bundesagentur für Arbeit. Dabei bedienen sie sich eines Difference-in-Differences Verfahrens in Verbindung mit einem Matching Modell.
Inhaltsverzeichnis
1. Einleitung
2. Die Methoden der Evaluationsforschung
2.1. Matching Verfahren
2.2. Difference-in-Differences Modell
3. Datensätze und Durchführung der Forschungsarbeit
3.1. Grundlegendes zur Studie
3.2. Verwendete Schätzmodelle und Evaluierungsmethoden
3.2.1. Beschäftigungsmodell und Ashenfelter’s Dip
3.2.2. Selektion beobachtbarer Variablen und Matching
3.2.3. Konditionaler Difference-in-Differences Schätzer
3.2.4. Mehrfachteilnahme und Karusselleffekt
3.3. Datensatz
3.4. Implementierung des Schätzmodells
3.5. Spezifikation der Outcome Gleichung
4. Die Ergebnisse der Forschungsarbeit
5. Fazit
Zielsetzung & Themen
Diese Arbeit setzt sich kritisch mit einer ökonomischen Evaluationsstudie auseinander, um die Anwendungsmöglichkeiten sowie Stärken und Schwächen moderner quantitativer Evaluationsverfahren für die politikwissenschaftliche Forschung zu demonstrieren.
- Grundlagen der Evaluationsforschung (Rubin-Modell)
- Matching-Verfahren zur Reduktion von Selektionsverzerrungen
- Difference-in-Differences Schätzungen in Quasi-Experimenten
- Analyse arbeitsmarktpolitischer Maßnahmen (Schulungen/Umschulungen)
- Methodische Herausforderungen wie der „Ashenfelter’s Dip“
Auszug aus dem Buch
3.2.1. Beschäftigungsmodell und Ashenfelter’s Dip
Wie bereits erwähnt, bedarf es für die Erstellung eines möglichst genauen Schätzmodells auch eine möglichst genaue Spezifikation der ihm zugrunde liegenden Annahmen. Zu diesem Zweck versuchen Bergemann et al. das Beschäftigungsmodell aus ökonomischer Sicht genauer darzulegen. Es ist definiert als die statusabhängige Beschäftigungswahrscheinlichkeit, als eine flexible Funktion von über die Zeit konstanten Eigenschaften und Monaten. Hinzu kommen spezifische, statusabhängige Effekte von Maßnahmen auf die Beschäftigungswahrscheinlichkeit sowie individuell spezifische, zeitlich konstante, Effekte auf die Beschäftigungswahrscheinlichkeit (vgl. Bergemann et al. 2003: 4). Bei ersteren Effekten handelt es sich also um diejenigen, denen das eigentliche Hauptinteresse der Studie von Bergemann et al. gilt.
Hinzu kommen noch weitere spezielle periodenspezifische Effekte (vgl. Bergemann et al. 2003: 4). Diese und vor allem die Problematik mit ihnen, wird in der Ausführung zu Ashenfelter’s Dip noch näher beschrieben. Um das zugrunde liegende Beschäftigungsmodell etwas zu entschlacken, untersuchen Bergemann et al. lediglich die Maßnahmeneffekte auf eine Zeitperiode und gehen davon aus, dass diese Effekte erst nach der Teilnahme an einer Maßnahme Wirkung zeigen (vgl. Bergemann et al. 2003: 4). Hier wäre eventuell die Betrachtung mehrerer Zeitperioden wünschenswert gewesen. Auch ist fraglich, ob die Maßnahmeneffekte nicht bereits während der Teilnahme an der Maßnahme selbst bereits Früchte tragen und somit der Wirkung unterschätz wird.
Erwähnenswert sei ebenfalls noch, dass die Wahrscheinlichkeit für einen Verbleib in der Arbeitslosigkeit generell als wesentlich höher angesehen wird, als die Wahrscheinlichkeit wieder eingestellt zu werden (vgl. Bergemann et al. 2003: 4 f.).
Zusammenfassung der Kapitel
1. Einleitung: Die Arbeit thematisiert die Unterrepräsentanz quantitativer Evaluationsverfahren in der Politikwissenschaft und führt in das Ziel der kritischen Auseinandersetzung mit der Studie von Bergemann et al. ein.
2. Die Methoden der Evaluationsforschung: Es werden das Kausalitätsmodell von Rubin sowie die Funktionsweisen von Matching-Verfahren und dem Difference-in-Differences Modell zur Kontrolle von Kausalitätseffekten erläutert.
3. Datensätze und Durchführung der Forschungsarbeit: Dieser Abschnitt beschreibt die untersuchte Studie, die verwendeten Modelle, den Datensatz (Arbeitsmarktmonitor Sachsen-Anhalt) sowie die methodische Implementierung der Schätzungen.
4. Die Ergebnisse der Forschungsarbeit: Die Ergebnisse der Studie werden grafisch und inhaltlich interpretiert, wobei insbesondere die Auswirkungen von Schulungen auf den Beschäftigungserhalt und die Wiedereinstellung diskutiert werden.
5. Fazit: Die Arbeit schließt mit einer zusammenfassenden Bewertung der methodischen Stärken der untersuchten Studie und formuliert konstruktive Kritik hinsichtlich der Datenbasis für zukünftige Forschungsdesigns.
Schlüsselwörter
Evaluationsforschung, Kausalitätsmodell, Matching-Verfahren, Difference-in-Differences, Ashenfelter’s Dip, Arbeitsmarktpolitik, Beschäftigungswahrscheinlichkeit, Propensity Score, Quasi-Experimente, Arbeitsmarktmonitor, Selektionsverzerrung, Beschäftigungserhalt, Bildungsmaßnahmen, ökonometrische Modelle, Arbeitslosigkeit.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit analysiert die Anwendung wissenschaftlicher Methoden der Evaluationsforschung, wie sie in ökonomischen Studien zur Bewertung arbeitsmarktpolitischer Maßnahmen eingesetzt werden, um deren Nutzen für die Politikwissenschaft zu prüfen.
Was sind die zentralen Themenfelder?
Die zentralen Felder sind die Methoden der kausalen Wirkungsanalyse, spezifische Matching-Verfahren, Differenz-in-Differenzen-Modelle sowie die methodische Behandlung von Verzerrungen in Quasi-Experimenten.
Was ist das primäre Ziel oder die Forschungsfrage?
Ziel ist es, die Stärken und Schwächen einer spezifischen Evaluationsstudie zu identifizieren, um den Transfer ökonometrischer Verfahren in die Politikberatung und politikwissenschaftliche Forschung zu bewerten.
Welche wissenschaftliche Methode wird verwendet?
Der Autor führt eine Revaluation durch, indem er das theoretische Gerüst der Studie von Bergemann et al. (Matching, Difference-in-Differences) kritisch hinterfragt und mit aktueller Literatur abgleicht.
Was wird im Hauptteil behandelt?
Der Hauptteil erörtert die theoretischen Grundlagen der Evaluationsforschung, detailliert die Vorgehensweise der gewählten Studie und prüft kritisch, ob die methodischen Annahmen (z. B. zur Datenqualität) gerechtfertigt sind.
Welche Schlüsselwörter charakterisieren die Arbeit?
Zu den wichtigsten Begriffen zählen Kausalitätsmodell, Matching-Verfahren, Difference-in-Differences, Ashenfelter’s Dip und Arbeitsmarktpolitik.
Was genau beschreibt der "Ashenfelter's Dip" in diesem Kontext?
Es handelt sich um ein Phänomen, bei dem sich die Beschäftigungssituation von Teilnehmern vor Beginn einer Maßnahme signifikant verschlechtert, was die Schätzung der Kausalwirkung erschweren kann.
Warum wird der Arbeitsmarktmonitor Sachsen-Anhalt kritisiert?
Die Kritik richtet sich darauf, dass der Datensatz regional begrenzt ist und somit die Verallgemeinerbarkeit der Ergebnisse auf ganz Deutschland, wie es der Titel der Studie suggeriert, stark einschränkt.
- Quote paper
- Simon Hörrle (Author), 2011, Evaluating the Employment Effects of Public Sector Sponsored Training in East Germany, Munich, GRIN Verlag, https://www.hausarbeiten.de/document/182462
