Die 100 Covid-Modelle des UKHSA sind keine Wissenschaft

Wie versprochen sind wir nicht abgehauen. Wir haben nun unsere Aufgabe erfüllt, die 100 Modelle zu überprüfen, die das Rückgrat des neuesten Angebots der UKHSA bilden: die Mapping-Überprüfung mit dem Titel „Wirksamkeit nicht-pharmazeutischer Interventionen zur Reduzierung der Übertragung von COVID-19 in Großbritannien“. Die UKHSA hat keine Beweise extrahiert oder bewertet, da sie angab, nicht über die Ressourcen dafür zu verfügen. Wenn das wahr ist und wenn „Ressourcen“ Bargeld oder Fachwissen (oder beides) bedeutet, dann handelt es sich um eine ernste Situation, wie Sie gleich lesen werden. Da wir Mitleid mit der armen alten UKHSA haben, haben wir die Bewertung für sie durchgeführt. Frühere Versionen der Überprüfung waren sehr schlecht, aber nicht von so schlechter Qualität wie die darin enthaltenen Studien. Wir konzentrierten uns auf die 100 Modelle, die in dem Mapping-Dokument identifiziert wurden, da sie zwei Drittel der nicht überprüften Evidenzbasis ausmachen, und zeitgenössische Überlieferungen lassen uns glauben, dass die bürgerlichen Freiheiten in Großbritannien auf der Grundlage dieser Modelle eingeschränkt wurden. Für jede Studie, die ein Modell berichtete, stellten wir vier Fragen, und hier ist, was wir gefunden haben. Die Gesamtzahl der Einträge in jeder Zeile beträgt nicht 100, da einige Studien unangemessen waren, eine eine Duplikatstudie war und eine nicht anhand der Referenz identifizierbar war. Außerdem können Studien, die eine Frage gut beantwortet haben, in den anderen drei Fragen möglicherweise nicht gut abgeschnitten haben, daher sollte jede Zeile separat gelesen werden, mit Ausnahme der Antworten auf Frage vier, die die Qualität der Studien zusammenfasst. Unter jeder Zeile haben wir einen kurzen Beispieltext gepostet, der Ihnen eine Vorstellung davon gibt, mit welchen Inhalten wir es zu tun hatten. Für jede Modellstudie stellten wir die folgenden Fragen und erhielten die folgenden Antworten: Q1 Was wird bewertet? (z.B. handelt es sich um eine nicht-pharmazeutische Intervention (NPI) und ist sie definiert und beschrieben? In welchem Umfeld? (z.B. Gemeinde, Krankenhaus, Häuser usw.) *beinhaltet einen unvollständigen Entwurf, der als Preprint veröffentlicht wurde Die Kategorie „keine Intervention“ umfasst Überprüfungen anderer Modelle und Studien, bei denen nur Tests als Intervention betrachtet werden. Beispiel: „Gezielte lokale versus nationale Maßnahmen“. Q2 Was ist die Quelle für die Effektschätzung? (um ihre Auswirkungen zu modellieren, benötigen Sie eine Datenquelle, d.h. was tut die Intervention?) Einige Modelle verwendeten mehr als eine Quelle. Um unsere Zusammenfassung zu vereinfachen, haben wir die Quelle entsprechend der Hauptquelle klassifiziert. Zum Beispiel basierte ein Modell auf 16 Variablen, von denen sieben „geschätzt“ sind, drei „angenommen“ sind, zwei auf demselben Worldometer 2020-Set basieren, zwei auf denselben WHO-Daten ohne Definitionen, eines auf der chinesischen Lebenserwartung bei der Geburt und das letzte auf einem Modell aus China von 2020. Wir haben dies in die Kategorie „angenommen/geschätzt“ eingeordnet. Zwei Studien verwendeten eine andere Schätzung des Effekts aus derselben Quelle (einem Nachrichtenbeitrag). Ein Modell basierte auf Daten zur Masernübertragung und ein anderes auf chinesischen Daten von zweifelhafter Verallgemeinerbarkeit auf das Vereinigte Königreich (beide sind oben nicht zusammengefasst). Einige der verwendeten Annahmen waren oft falsch. Ein Modell nahm an, dass das Virus nur während der infektiösen Periode durch PCR nachweisbar ist. Ein Modell dachte, dass die Reduzierung der Anzahl von Kontakten an einem Ort sich nicht auf die Anzahl von Kontakten an einem anderen Ort auswirkt. Q3 Wie groß ist der Effekt? (z.B. Risikoreduktion einer SARS-CoV-2-Infektion) Die Kategorie „unplausibel“ umfasst Behauptungen über enorme Effekte oder die Wörter „Eliminierung“ oder „Unterdrückung“. Die Kategorie „falsch“ umfasst Schlussfolgerungen, die sich nicht aus den Eingaben in das Modell ergeben (d.h. die Antworten auf die ersten beiden Fragen waren unbefriedigend) oder Behauptungen, dass Intervention X die Übertragung ohne stützende Beweise unterbrochen hat. Hier ist ein Beispiel für eine solche Aussage: „NPI-Interventionen werden immer einen positiven Einfluss auf die Eindämmung haben, unabhängig von der Testhäufigkeit.“ Nur zwei Studien erwähnten die potenziellen Kosten und Schäden von NPIs. Die Ergebnisse folgen oft den gemachten Annahmen. Ein Modell nahm an, dass die Übertragung während des Lockdowns um 80% reduziert wird und berichtete: „wie zu erwarten“, führt gezielter Lockdown zu einer starken Eindämmung des Ausbruchs: 87% der Ausbrüche werden eingedämmt. Keine Modelle validierten ihre Ergebnisse durch die Verfolgung von Echtzeitdaten. Zum Beispiel schlägt ein Modell vor, dass SARS-CoV-2-Infektionen kontrolliert werden können, wenn ein ausreichender Anteil der Bevölkerung chirurgische Masken verwendet und die Regeln zur sozialen Distanzierung befolgt, ohne dass ein Lockdown erforderlich ist. Die Echtzeitdaten zeigen ein sehr unterschiedliches Ergebnis. Q4 Wie wird ein Fall von COVID-19 definiert? Obwohl die Daten für sich sprechen, ist das Gesamtbild ein hektisches Rätselraten mit einer großen Anzahl von Modellen, die in zwei Jahren veröffentlicht wurden. Das Fehlen eines Protokolls, die fehlende Standardisierung und umfangreiche „Schätzungen“ aus Quellen, die wahrscheinlich nicht auf das Vereinigte Königreich verallgemeinerbar sind, untergraben die Bedeutung der Studien in unserer Überprüfung. Das größte Problem ist wahrscheinlich das völlige Fehlen einer Definition eines Falls von Covid. Nur zwei Studien, die 2020 veröffentlicht wurden, verwendeten oder bezogen sich auf eine Definition (die der WHO). Eine weitere Untersuchung ergab, dass die verwendete Definition eine klinische war. Sie definierte ein Atemwegssyndrom ohne laborbestätigung. Obwohl wir eine Studie im ROBINS I-Tool bewertet haben, fehlt der Definition die Spezifität, was bei SARS-CoV-2 äußerst problematisch ist, wenn es um Ihre Maßnahmen geht. Da einige Studien die Ergebnisse verschiedener Modelle vergleichen oder Epidemiedaten vor und nach einer oder mehreren Interventionen vergleichen, sind solche Vergleiche ungültig, es sei denn, es wird eine standardisierte glaubwürdige Definition eines „Falls“ verwendet. Vor vielen Jahren wurden Gesundheitsökonomen für die Art und Weise kritisiert, wie sie Modelle und wirtschaftliche Bewertungen erstellten. Gesundheitsökonomie ist eine faszinierende und wichtige Disziplin, die uns lehrt, das Beste aus den vorhandenen Ressourcen zu machen. Aber die Bedeutung von Wirtschaftsmodellen – und die eiserne Logik, die ihnen zugrunde liegt – wurde durch mangelnde Berichtskriterien, schlechte, nicht standardisierte Methoden und fehlende Werkzeuge zur Qualitätsbewertung eines wirtschaftlichen Papiers untergraben. Die besten Ökonomen haben gut verstanden, dass diese Lücken ihre Disziplin untergraben und etwas dagegen unternommen. Es musste eine Unterscheidung zwischen vernünftiger Arbeit und der Art von Unsinn geben, den wir oben überprüft haben. Als die Cochrane Collaboration begann, war eine der ersten Methodengruppen, die ins Rollen kam, die Gesundheitsökonomie. Die Botschaft, dass gute Evidenz verwendet werden musste, Transparenz und Replikation von Ergebnissen erforderlich waren und standardisierte Definitionen verwendet werden mussten, wurde verstanden. Zum Beispiel verwenden auch heute noch viele Arbeiter den Begriff „Kosten-Effektivität“ als Synonym für wirtschaftliche Bewertung, ähnlich wie manche Leute das F-Wort (Grippe) als Synonym für Influenza oder akute Atemwegsinfektionen oder was auch immer ihnen gerade in den Kopf kommt, verwenden. Die Kosten-Effektivitätsanalyse ist ein spezifisches Design, das sich von „Kosten-Nutzen“ oder „Kostenminimierung“ unterscheidet. Es testet, was als

Original Artikel Teaser

UKHSA’s 100 Covid Models Are Not Science

As promised, we have not run away. We have now completed our undertaking to review the 100 models forming the backbone of the UKHSA’s latest offering: the mapping review called ‘Effectiveness of non-pharmaceutical interventions to reduce transmission of COVID-19 in the U.K.‘  UKHSA did not extract nor appraise the evidence as it maintained it did not have the resources. If that is true and if ‘resources’ means cash or expertise (or both), this is a serious situation, as you shall read. So, as we feel sorry for the poor old UKHSA, we have done the appraisal for it. Earlier versions of the review were very poor but not as poor quality as the studies included in them. We focused on the 100 models identified in the mapping

Details zu UKHSA’s 100 Covid Models Are Not Science