Können wir der Wissenschaft der Ökologie vertrauen

Erkenntnisse, die von Ökologen berichtet werden, haben einen enormen Einfluss auf politische Debatten über Landwirtschaft, Umweltverschmutzung, Klimawandel, Naturschutz und Artenvielfalt. Aber können wir ihnen vertrauen? Eine kürzlich veröffentlichte Studie legt nahe, dass etwas Skepsis angebracht ist. Kaitlin Kimmel und ihre Kollegen haben sich zum Ziel gesetzt, die Verbreitung von „fragwürdigen Forschungspraktiken“ im Bereich der Ökologie zu untersuchen. Zu diesen Praktiken gehören beispielsweise das Nichtverfügbar machen von Daten und Code für andere Forscher zur Überprüfung. Sie umfassen auch subtilere Dinge wie die selektive Berichterstattung von Ergebnissen, das Anpassen der Analyse, bis ein signifikantes Ergebnis erzielt wird („p-hacking“) und das Aufstellen von Hypothesen nach Bekanntwerden der Ergebnisse („HARKing“). Nicht nur Forscher betreiben fragwürdige Forschungspraktiken. Zeitschriftenredakteure lehnen oft Arbeiten mit nichtssagenden oder schwachen Ergebnissen ab, weil sie glauben, dass solche Ergebnisse weniger wirkungsvoll und weniger interessant für die Leser sind. Dies führt zu einer „Übertreibungsverzerrung“, bei der die durchschnittliche Effektgröße größer erscheint, als sie tatsächlich ist, weil nichtssagende oder schwache Ergebnisse nicht in der veröffentlichten Literatur vertreten sind. Wenn zum Beispiel 10 Studien durchgeführt werden, von denen fünf schwache Effekte und fünf starke Effekte finden, und nur die letzteren fünf veröffentlicht werden, wird die veröffentlichte Literatur die Effektgröße in Frage übertreiben. Eine solche Variabilität der Ergebnisse ist häufig, wenn die Stichprobengrößen klein sind (wenn Studien „unterdimensioniert“ sind, um den Fachjargon zu verwenden). Kimmel und ihre Kollegen erhielten relevante Statistiken aus 354 Artikeln, die zwischen 2018 und 2020 in fünf führenden ökologischen Fachzeitschriften veröffentlicht wurden. In einem Teil ihrer Analyse betrachteten sie die Verteilung der t-Statistiken, die in den Artikeln ihrer Stichprobe berichtet wurden. Die t-Statistik ist etwas, das man berechnet, um herauszufinden, wie wahrscheinlich die eigenen Ergebnisse unter der Annahme eines fehlenden Effekts wären. Wenn sie groß ist, deutet dies darauf hin, dass die eigenen Ergebnisse unter dieser Annahme unwahrscheinlich wären und dass es wahrscheinlich einen Effekt gibt. Wichtig ist, dass t-Statistiken größer als 1,96 als signifikant angesehen werden, während solche unter 1,96 als nicht signifikant angesehen werden. Wenn Forscher ihre Ergebnisse selektiv berichten würden, würde man eine Diskontinuität in der Verteilung erwarten, mit weniger als erwartet knapp unter 1,96 und mehr als erwartet knapp über 1,96. Und genau das haben Kimmel und ihre Kollegen gefunden! Wie Sie sehen können, gibt es einen Einbruch in der Verteilung knapp unter 1,96 und einen Anstieg knapp darüber. Dies kann nur durch eine Kombination von HARKing, p-hacking und selektiver Berichterstattung von Ergebnissen erklärt werden. Tatsächlich fanden Kimmel und ihre Kollegen weitere Hinweise auf selektive Berichterstattung. Als sie die Verteilung der t-Statistiken aus den Anhängen der Artikel untersuchten, gab es keine Diskontinuität um 1,96 herum – wie unten gezeigt. Dies bedeutet, dass Forscher ihre Ergebnisse in den Anhängen korrekt berichteten, aber selektiv in ihren Haupttexten berichteten. (Dies ergibt Sinn, da Artikel in der Regel auf der Grundlage ihrer Hauptergebnisse und nicht auf der Grundlage von Zusatzergebnissen beurteilt werden.) Kimmel und ihre Kollegen fanden auch Hinweise auf eine Übertreibungsverzerrung in der ökologischen Literatur. Darüber hinaus stellten sie fest, dass zwar Daten für 80% der Artikel in ihrer Stichprobe verfügbar waren, aber der Code für weniger als 20% verfügbar war. Dies bedeutet, dass die Ergebnisse der überwiegenden Mehrheit der Artikel nicht reproduziert werden konnten, ohne den Code von Grund auf neu zu schreiben. „Die veröffentlichten Effektgrößen in ökologischen Fachzeitschriften“, schreiben die Autoren, „übertreiben die Bedeutung der ökologischen Beziehungen, die sie quantifizieren sollen“. Dies wiederum „beeinträchtigt die Fähigkeit der empirischen Ökologie, zuverlässig zur Wissenschaft, Politik und Verwaltung beizutragen“. Die Studie nennt nicht die spezifischen „ökologischen Beziehungen“, die am stärksten übertrieben werden, noch die Bereiche des Fachgebiets, die am stärksten betroffen sind, bietet jedoch allgemeine Gründe für Skepsis. Behalten Sie dies im Hinterkopf, wenn Sie das nächste Mal den Wissenschaftsteil lesen

Original Artikel Teaser

Can We Trust the Science of Ecology?

Findings reported by ecologists are hugely influential in policy debates over agriculture, pollution, climate change, conservation and biodiversity. But can we trust them? A recent paper suggests that some scepticism is in order. Kaitlin Kimmel and colleagues set out to examine the prevalence of “questionable research practices” in the field of ecology. QRPs, as they are known, include things like not making your data and code available for other researchers to check. They also include more subtle things like selectively reporting results, tweaking the analysis until you get a significant result (‘p-hacking’) and forming hypotheses after the results are known (‘HARKing’). It is not only researchers who engage in QRPs. Journal editors often reject papers with null or weak findings

Details zu Can We Trust the Science of Ecology?