Login |
 
 

Der Faktorielle Survey als Methode zur Einstellungsmessung in Bevölkerungsumfragen

Projektleitung

  • Prof. Dr. Thomas Hinz: Universität Konstanz
  • Prof. Dr. Stefan Liebig: Universität Bielefeld

Projektmitarbeiter

  • Katrin Auspurg, Universität Konstanz
  • Carsten Sauer, Universität Bielefeld

Projektkooperation

  • Prof. Guillermina Jasso: New York University, New York USA

Zusammenfassung von ersten Ergebnissen

Ausgewählte Arbeitspapiere

  • Sauer, Carsten, Katrin Auspurg, Thomas Hinz and Stefan Liebig, 2010: Methodological Effects of Factorial Surveys in Population Samples. Working Paper # 8 of the DFG-Project "The Factorial Survey as a Method for Measuring Attituted in Population Surveys". University of Konstanz/Bielefeld University. (pdf file, click here)
  • Auspurg, Katrin, Thomas Hinz and Stefan Liebig, 2009: Complexity, Learning Effects, and Plausibility of Vignettes in Factorial Surveys. Paper accepted for the ASA-Conference 2009. Working Paper # 4 of the DFG-Project "The Factorial Survey as a Method for Measuring Attituted in Population Surveys". University of Konstanz/Bielefeld University. (pdf file, click here)
  • Liebig, Stefan, Carsten Sauer, Katrin Auspurg, Thomas Hinz and Juergen Schupp, 2009: A Factorial Survey on the Justice of Earnings Within the GSOEP-Pretest 2008. Draft for Working Paper # 6 of the DFG-Project "The Factorial Survey as a Method for Measuring Attituted in Population Surveys". University of Konstanz/Bielefeld University. (pdf file, click here)
  • Sauer, Carsten 2009: Gender Differences in Just Earnings - the Just Gender Pay Gap. Draft for Working Paper # 7 of the DFG-Project "The Factorial Survey as a Method for Measuring Attituted in Population Surveys". University of Konstanz/Bielefeld University. (pdf file, click here)

Förderung

  • Deutsche Forschungsgemeinschaft (DFG)

 

Forschungsfrage und Zielsetzung
Der faktorielle Survey gilt als eine Erhebungsmethode, bei der sich die Vorteile der Umfrageforschung mit denen experimenteller Designs verbinden. Statt einzelner Items bewerten die Probanden hypothetische Objekt- oder Situationsbeschreibungen. Indem in diesen Vignetten einzelne Merkmalsausprägungen experimentell variiert werden, lässt sich ihr Einfluss auf die abgefragten Urteile oder Entscheidungen exakt bestimmen und damit das Gewicht von Faktoren isolieren, die in der Realität oftmals konfundiert sind. Durch die Möglichkeiten zur Simulation komplexer Objekte bzw. Situationen und zur Aufdeckung geteilter wie idio-synkratischer Urteilsregeln scheint das Verfahren speziell für die Einstellungs- und Gerechtigkeitsforschung geeignet. Das zentrale Problem besteht aber darin, dass dieses Verfahren bislang kaum Gegenstand methodischer Studien war. Deshalb verfügen wir über wenig methodisches Wissen über die Vor- und Nachteile beim Einsatz in größeren Umfragen. Dies bezieht sich auf Fragen der Konzipierung und Durchführung faktorieller Surveys genauso wie auf die Antworteffekte, die sich aus einer bestimmten Anlage der Erhebungsinstrumente und Befragungskontexte ergeben. Ziel des geplanten Projektes ist es deshalb, neben methodischen Erkenntnissen vor allem die Tauglichkeit des Verfahrens in allgemeinen Umfragen zu überprüfen und daraus Rückschlüsse und Empfehlungen für die Umfrageforschung abzuleiten.

Gegenstand des Projektes sind mehrere experimentelle Befragungen mit Hilfe des faktoriellen Surveys an einer Bevölkerungsstichprobe und verschiedenen Studierendensamples. Mittels systematischer Variationen werden die Auswirkungen der Komplexität und Fallzahl der Vignetten auf das Antwortverhalten, die Tauglichkeit verschiedener Antwortskalen, Präsentations- und Befragungsformen sowie die Konsistenz und Stabilität des Antwortverhaltens untersucht. Ergänzend zu diesen forschungspraktischen Fragen sind modelltheoretische Analysen der Stichprobenverfahren und statistischen Analysemethoden geplant. Das Projekt erarbeitet damit erstmalig empirisch fundierte, anwendungsbezogene Kriterien für den Einsatz faktorieller Surveys in Bevölkerungsumfragen. 

Arbeitsprogramm
Zur empirischen Überprüfung der methodischen Grundlagen und Anwendungsbedingungen des faktoriellen Suveys dienen experimentell zu variierenden Erhebungssituationen. Die in-haltliche Fragestellung wird dabei konstant gehalten. Wir wählen ein Beispiel, dessen theoretisch-inhaltliche Aspekte gut erforscht sind: die Gerechtigkeit von Erwerbseinkommen. Den Probanden werden fiktive Personen vorgestellt, die sich in einer Reihe von einkommensrelevanten Merkmalen wie Geschlecht, Alter, Bildungsstand oder Beruf unterscheiden. Zusätzlich enthält jede Vignette einen Betrag des monatlichen Netto-Erwerbseinkommens der beschriebenen Person. Dieser Einkommensbetrag soll danach beurteilt werden, ob und in welchem Ausmaß er gerecht bzw. ungerecht ist. Die Verwendung dieser inhaltlichen Fragestellung hat den Vorteil, dass die Ergebnisse anderer Studien zur Validierung unserer experimentellen Ergebnisse herangezogen werden können.

Insgesamt sollen drei experimentelle Variationen durchgeführt werden, in denen die methodisch-technischen und modelltheoretischen Problemstellungen untersucht werden. Die Experimente sollen dabei in Online-Befragungen bei Studierenden der Soziologie und der Sozial-wissenschaften an verschiedenen Hochschulstandorten umgesetzt werden. Die Studierenden nehmen an den Befragungen im Rahmen der örtlichen Methodenausbildung teil. Dabei handelt es sich jeweils um Pflichtveranstaltungen, die keine über die Studienfachwahl hinausgehenden Selbstselektionsprozesse erwarten lassen. Anzunehmen ist, dass die zu untersuchenden Fragestellungen im Prinzip von Personenmerkmalen der Probanden (wie Geschlecht, Alter, Bildung) unabhängig sind und deshalb auch an homogenen Studierendensamples überprüft werden können. Mit den Studierendensamples sollen insgesamt drei Experimente durch-geführt werden:

  • In Experiment 1 geht es darum, die Komplexität der Erhebungssituation und die möglichen Auswirkungen auf kognitive Prozesse zu untersuchen. Dazu kombinieren wir die Menge an Information (Merkmale der beschriebenen Personen, Anzahl an präsentierten Vignetten) sowie die Reihenfolge der präsentierten Vignetten. Zielgrößen sind neben den erfassten Einschätzungen auch weitere Parameter wie Reaktionszeiten und eventueller Abbruch der Befragung.
  • Experiment 2 zielt auf die Auswirkungen von Präsentations- und Bearbeitungsvarianten, wobei die Komplexität der Erhebungssituation konstant gehalten wird. Untersucht werden konkret die Effekte von vorheriger Inspektion (gegenüber sequenzieller Bearbeitung), von Antwortskalen, von unlogischen Fällen sowie die Präsentation in Fließtext gegenüber Tabellen. Zielgrößen sind wiederum die gemessenen Einschätzungen und weitere Parameter wie der Einsatz der gewährten Freiheiten (Inspektion, offene Skala) und die Reaktionszeiten.
  • In Experiment 3 wird die zeitliche Stabilität der Messungen überprüft in einer Panelstudie werden Probanden zu drei verschiedenen Messzeitpunkten (etwa im Abstand von sechs Wochen) mit ähnlichen bzw. wechselnden Befragungssituationen konfrontiert.


In den Experimenten 1 und 2 werden jeweils ein Drittel der Vignetten zufällig gezogen, nach Schichtungskriterien sowie fraktioniert ausgewählt. Dadurch lassen sich die stichprobentheoretischen Fragestellungen auch an Hand des Datenmaterials aufgreifen. Da das Projekt die Anwendbarkeit des faktoriellen Survey in Bevölkerungsumfragen prüfen möchte, muss zusätzlich eine Experimentalvariante in einer allgemeinen Umfrage umgesetzt werden. Ein Einsatz in Bevölkerungsumfragen wird danach zu beurteilen sein, wie der Zeitaufwand und die Belastbarkeit der Befragten eingeschätzt werden müssen. Dementsprechend werden diese Problemstellungen an einer bevölkerungsrepräsentativen Stichprobe zu bearbeiten sein. Dazu wird der Umfang an präsentierten Informationen variiert und in zwei Surveysituationen erprobt (face to face Interviews mit PC Unterstützung, telefonische Befragung mit vorheriger Zusendung von Befragungsmaterialien). Für beide Befragungsvarianten wird eine repräsentative Bevölkerungsstichprobe der deutschen Wohnbevölkerung über 18 Jahren zu Grunde gelegt (N=1.500). Die gezogenen Personen werden zufällig auf die zwei Surveysituationen aufgeteilt (jeweils N=750).