Kann man mit Statistiken etwas beweisen

Einige Leute sagen „man kann alles mit Statistiken beweisen“. Es scheint keine sehr intelligente oder konstruktive Beobachtung zu sein – aber vielleicht haben sie recht. In einer in den Proceedings of the National Academy of Sciences veröffentlichten Studie haben Nate Breznau und seine Kollegen eine interessante Studie durchgeführt, bei der Teams von Sozialwissenschaftlern dieselbe Hypothese mit denselben Daten getestet haben, aber zu radikal unterschiedlichen Ergebnissen gekommen sind. So funktionierte es. 73 Teams von Sozialwissenschaftlern wurden eingeladen, teilzunehmen. Das Ziel der Studie war es, zu ermitteln, wie sehr individuelle Entscheidungen der Forscher die Ergebnisse ihrer statistischen Analysen beeinflussen. Alle Teams erhielten dieselben Daten und wurden gebeten, dieselbe Hypothese zu testen, nämlich „dass eine höhere Einwanderung die Unterstützung für Sozialpolitik in der Öffentlichkeit verringert“. Nach der Analyse der Daten reichten die Teams ihre Ergebnisse zusammen mit Details zu den Modellen ein, die sie verwendet hatten. Die Forscher der Studie untersuchten alle Modelle und identifizierten 107 verschiedene analytische Entscheidungen. Dazu gehörten Dinge wie welche Variablen einbezogen wurden, welche Art von Modell verwendet wurde und ob Daten ausgeschlossen wurden. Anschließend führten sie ihre eigene Analyse durch, um zu sehen, ob die Variation in den Ergebnissen der Teams durch die getroffenen analytischen Entscheidungen erklärt werden konnte. Haben Teams, die dieselben Variablen einbezogen haben, ähnliche Ergebnisse erzielt? Haben Teams, die dieselbe Art von Modellen verwendet haben, ähnliche Ergebnisse erzielt? Und so weiter.

Zuerst einmal, wie ähnlich waren die Ergebnisse der Teams insgesamt? Haben die meisten von ihnen Unterstützung für die Hypothese „dass eine höhere Einwanderung die Unterstützung für Sozialpolitik in der Öffentlichkeit verringert“ gefunden? Die Antwort wird in der folgenden Grafik gezeigt. Jeder farbige Strich repräsentiert eine andere statistische Schätzung, die von einem der Teams eingereicht wurde. (Es gibt mehr als 73, weil einige Teams mehr als eine eingereicht haben.) Die horizontale Achse ordnet die Schätzungen von kleinster bis größter. Die vertikale Achse gibt ihre genaue Größe an und ob sie positiv oder negativ sind. Die Ergebnisse der Teams waren sehr unterschiedlich. Einige haben moderat große negative Effekte eingereicht (in Gelb dargestellt); einige haben Nullergebnisse eingereicht (in Grau dargestellt); und einige haben moderat große positive Effekte eingereicht (in Lila dargestellt). Mit anderen Worten, es gab absolut keinen Konsens darüber, ob eine höhere Einwanderung die Unterstützung für Sozialpolitik verringert. Einige Teams haben festgestellt, dass dies der Fall ist; andere haben festgestellt, dass dies nicht der Fall ist; und wieder andere haben gemischte Ergebnisse gemeldet. Dies geschah trotz der Tatsache, dass alle Teams genau dieselben Daten hatten. Konnten Breznau und seine Kollegen die Variation in den Ergebnissen der Teams mit Bezug auf die getroffenen analytischen Entscheidungen erklären? Die Antwort wird in der folgenden Grafik gezeigt. Jeder der vier Balken repräsentiert eine andere Methode zur Messung der Variation in den Ergebnissen der Teams. Die Farben repräsentieren verschiedene erklärende Faktoren – analytische Entscheidungen werden in Grün dargestellt. (Breznau und seine Kollegen haben auch überprüft, ob Dinge wie Forschermerkmale eine Rolle spielen.) Die überwiegende Mehrheit der Variation in den Ergebnissen der Teams blieb unerklärt. Wie Sie sehen können, blieb die überwiegende Mehrheit der Variation in den Ergebnissen der Teams unerklärt. Wenn man darüber nachdenkt, ist dies ein bemerkenswertes Ergebnis. Sozialwissenschaftler haben dieselbe Hypothese mit denselben Daten getestet und völlig unterschiedliche Ergebnisse erzielt. Die getroffenen analytischen Entscheidungen scheinen jedoch nicht zu erklären, warum sie so unterschiedliche Ergebnisse erzielt haben. Was könnte es sonst noch erklären? Hier ist ein Zitat aus dem Artikel: Forscher müssen analytische Entscheidungen treffen, die so klein sind, dass sie oft nicht einmal als Entscheidungen registriert werden. Stattdessen bleiben sie unbemerkt als nichtdeliberate Handlungen, die angeblich den Standardbetriebsverfahren folgen. Unsere Studie zeigt, dass diese Hunderte von Entscheidungen, wenn sie als Ganzes betrachtet werden, weit davon entfernt sind, belanglos zu sein. Sozialwissenschaftler haben viele Gründe, sich bescheiden zu fühlen. Breznau und seine Kollegen haben ihnen gerade einen weiteren gegeben. Stop Press: Breznau und seine Kollegen wurden dafür kritisiert, die Variation in den Ergebnissen der Teams übertrieben dargestellt zu haben. Maya Mathur und ihre Kollegen weisen darauf hin, dass 90% der standardisierten Effektgrößen zwischen -0,037 und 0,037 lagen, was auf einen Konsens von wenig oder keinem Effekt hindeutet

Original Artikel Teaser

Can You Prove Anything with Statistics?

Some people say ‘you can prove anything with statistics’. It doesn’t seem like a very intelligent or constructive observation – but perhaps they’re onto something.  In a paper published in Proceedings of the National Academy of Sciences, Nate Breznau and colleagues outline an intriguing study where teams of social scientists tested the same hypothesis using the same data, but got radically different results. Here’s how it worked. 73 teams of social scientists were invited to take part. The aim of the study was to gauge how much idiosyncratic decisions by researchers influence the results of their statistical analyses. All teams were given the same data, and asked to test the same hypothesis, namely “that greater immigration reduces support for social

Details zu Can You Prove Anything with Statistics?