Kann man mit Statistiken alles beweisen

Einige Leute sagen „man kann alles mit Statistiken beweisen“. Es scheint keine sehr intelligente oder konstruktive Beobachtung zu sein – aber vielleicht haben sie recht. In einer in den Proceedings of the National Academy of Sciences veröffentlichten Studie haben Nate Breznau und seine Kollegen eine interessante Untersuchung durchgeführt, bei der Teams von Sozialwissenschaftlern dieselbe Hypothese mit denselben Daten getestet haben, aber zu radikal unterschiedlichen Ergebnissen gekommen sind. So funktionierte es: 73 Teams von Sozialwissenschaftlern wurden zur Teilnahme eingeladen. Das Ziel der Studie war es, zu ermitteln, wie sehr individuelle Entscheidungen der Forscher die Ergebnisse ihrer statistischen Analysen beeinflussen. Allen Teams wurden dieselben Daten gegeben und sie wurden gebeten, dieselbe Hypothese zu testen, nämlich „dass eine höhere Einwanderung die Unterstützung für Sozialpolitik in der Öffentlichkeit verringert“. Nach der Analyse der Daten reichten die Teams ihre Ergebnisse zusammen mit Details zu den Modellen ein, die sie verwendet hatten. Die Forscher der Studie untersuchten alle Modelle und identifizierten 107 verschiedene analytische Entscheidungen. Dazu gehörten Dinge wie welche Variablen einbezogen wurden, welche Art von Modell verwendet wurde und ob Daten ausgeschlossen wurden. Anschließend führten sie ihre eigene Analyse durch, um zu sehen, ob die Variation in den Ergebnissen der Teams durch die analytischen Entscheidungen erklärt werden konnte, die sie getroffen hatten. Haben Teams, die dieselben Variablen einbezogen haben, ähnliche Ergebnisse erzielt? Haben Teams, die dieselbe Art von Modellen verwendet haben, ähnliche Ergebnisse erzielt? Und so weiter.

Zuerst einmal: Wie ähnlich waren die Ergebnisse der Teams insgesamt? Haben die meisten von ihnen Unterstützung für die Hypothese „dass eine höhere Einwanderung die Unterstützung für Sozialpolitik in der Öffentlichkeit verringert“ gefunden? Die Antwort wird in der folgenden Grafik gezeigt. Jeder farbige Strich repräsentiert eine andere statistische Schätzung, die von einem der Teams eingereicht wurde. (Es gibt mehr als 73, weil einige Teams mehr als eine eingereicht haben.) Die horizontale Achse ordnet die Schätzungen von kleinster bis größter. Die vertikale Achse gibt ihre genaue Größe an und ob sie positiv oder negativ sind. Die Ergebnisse der Teams waren sehr unterschiedlich. Einige haben moderat große negative Effekte eingereicht (in Gelb dargestellt), einige haben Nullergebnisse eingereicht (in Grau dargestellt) und einige haben moderat große positive Effekte eingereicht (in Lila dargestellt). Mit anderen Worten, es gab absolut keinen Konsens darüber, ob eine höhere Einwanderung die Unterstützung für Sozialpolitik verringert. Einige Teams fanden, dass dies der Fall ist, andere fanden, dass es nicht der Fall ist, und wieder andere berichteten von gemischten Ergebnissen. Dies geschah trotz der Tatsache, dass alle Teams genau dieselben Daten hatten. Konnten Breznau und seine Kollegen die Variation in den Ergebnissen der Teams mit Bezug auf die analytischen Entscheidungen, die sie getroffen hatten, erklären? Die Antwort wird in der folgenden Grafik gezeigt. Jeder der vier Balken repräsentiert eine andere Art, die Variation in den Ergebnissen der Teams zu messen. Die Farben repräsentieren verschiedene erklärende Faktoren – analytische Entscheidungen werden in Grün dargestellt. (Breznau und seine Kollegen haben auch überprüft, ob Dinge wie Forschermerkmale eine Rolle spielen.) Die überwiegende Mehrheit der Variation in den Ergebnissen der Teams blieb unerklärt. Wie Sie sehen können, blieb die überwiegende Mehrheit der Variation in den Ergebnissen der Teams unerklärt. Wenn man darüber nachdenkt, ist dies eine bemerkenswerte Erkenntnis. Sozialwissenschaftler haben viele Gründe, sich bescheiden zu fühlen. Breznau und seine Kollegen haben ihnen gerade einen weiteren gegeben. Aktuelle Meldung: Breznau und seine Kollegen wurden dafür kritisiert, die Variation in den Ergebnissen der Teams übertrieben dargestellt zu haben. Maya Mathur und ihre Kollegen weisen darauf hin, dass 90% der standardisierten Effektgrößen zwischen -0,037 und 0,037 lagen, was auf einen Konsens von wenig oder keinem Effekt hinweist

Original Artikel Teaser

Can You Prove Anything with Statistics?

Some people say ‘you can prove anything with statistics’. It doesn’t seem like a very intelligent or constructive observation – but perhaps they’re onto something.  In a paper published in Proceedings of the National Academy of Sciences, Nate Breznau and colleagues outline an intriguing study where teams of social scientists tested the same hypothesis using the same data, but got radically different results. Here’s how it worked. 73 teams of social scientists were invited to take part. The aim of the study was to gauge how much idiosyncratic decisions by researchers influence the results of their statistical analyses. All teams were given the same data, and asked to test the same hypothesis, namely “that greater immigration reduces support for social

Details zu Can You Prove Anything with Statistics?