Das PEI vernachlässigt seine Überwachungsaufgaben

Das PEI nutzt eine fragwürdige Methode zur Signaldetektion. Diese führt in der Regel zu unsinnigen Ergebnissen. Die Signaldetektion des PEI muss dringend umgestellt werden.

Das Paul-Ehrlich-Institut (PEI) ist per Gesetz [1.] und internationalen Regularien [2., 3.] verpflichtet, die Beobachtungen aus der Erfassung von spontanen Nebenwirkungen von bestimmten Arzneimitteln sowie allen Impfstoffen Signaldetektions-Analysen zu unterziehen. Mit solchen Analysen soll untersucht werden, ob sich aus vielen Einzelfallmeldung ein Muster oder eben Signal ergibt, dass wahrscheinlich eine Nebenwirkung vorliegt Das PEI nutzt im Wesentlichen das Konzept der Standardised Morbidity (oder auch Mortality) Ratio (SMR) bzw. des standardisierten Morbiditäts(risiko)verhältnisses. Unter bestimmten Voraussetzungen können die SMR-Schätzwerte tatsächlich einen Beitrag zur Signaldetektion leisten. Allerdings verwendet das PEI diese Methodik stets, d.h. auch in Fällen, wo diese Voraussetzungen gar nicht gegeben sind, weshalb die SMR-Schätzwerte allzu oft vollkommen sinnlose Ergebnisse liefern.

Theoretische Überlegungen

Betrachten wir eine sehr seltene medizinische Erscheinung, welche in Deutschland normalerweise mit einer Inzidenz von, sagen wir, 1 pro Million Personen pro Jahr auftritt. Kommt dann z. B. ein Impfstoff in einer Massen-Impfkampagne wie derzeit, bei dem eine solche Erscheinung als Nebenwirkung mit einer Inzidenz von, sagen wir, 1 pro 10.000 = 100 pro Million Personen auftritt, dann sollte ja die „neue“ beobachtete Inzidenz höher als die bislang erwartete; dies würde dann in einer observed-versus-expected-(OvE) analysis, also z.B. in oben genannter SMR-Analyse auffallen.

Werden in diesem Beispiel alle derartigen Nebenwirkungen dem PEI gemeldet, dann wäre SMR = 100. Selbst wenn nur 10% der Nebenwirkung an das PEI gemeldet würden, wäre SMR = 10. Das liegt in einer Größenordnung, in der man eigentlich keine feinen statistischen Methoden wie das Konzept der 95% Konfidenzintervalle braucht. Das Signal ist einfach offensichtlich. Da die Signaldetektion zunächst zur qualitativen Beurteilung gemacht wird, reicht dies für die Entscheidung: ja oder nein. Falls ja, d. h. eine Nebenwirkung ist anzunehmen, sollte dies weiterführende Untersuchungen nach sich ziehen.

Jeder mittlere SMR-Schätzwert über 1 zeigt eine erhöhte Inzidenz an. In der Nähe der 1 ist aber statistische Feinarbeit gefragt. Dazu wird das 95% Konfidenzintervall für dieses risk ratio bestimmt und es gilt: Wenn die untere Konfidenzgrenze >1 ist, ist die neue Inzidenz signifikant erhöht, d. h. eine Nebenwirkung liegt vor.

Bei solchen Bewertung hat man also immer zwei Inzidenzen: Die erwartete und die beobachtete Inzidenz, woraus ein risk ratio gebildet wird. Beide Schätzwerte können Schwankungen unterliegen. In der Regel hat die Form der Datenerhebung dabei den mit Abstand größten Einfluss.

Beispiel: Tod

Für die erwartete Inzidenz nutzt das PEI die allgemeine Sterberate. Die liegt in Deutschland bei etwa 2.100 bis 3.500 Sterbefällen pro Tag; d.h. hier wird jeder Fall gezählt. Das PEI nutzt den Schätzwert von Destatis, also 1.241 Todesfälle pro 100.000 Personen pro Jahr für alle über 5-Jährigen Personen [1.]; dies basiert auf den Zahlen von 2020 und entspricht etwa 2.685 Sterbefällen pro Tag.

Bei der Vakzinovigilanz gelten aber gänzlich andere Regeln. Hier wird nämlich nur dann ein Todesfall als solcher an das PEI gemeldet, wenn ein Arzt oder manchmal auch ein Angehöriger den Verdacht auf einen Kausalzusammenhang hegt und sich der Mühsal der Meldung unterzieht. Man muss hier nicht einmal daran erinnern, dass von verschiedenen Seiten Druck auf Ärzte ausgeübt wurde, nicht allzu viele Verdachtsfälle im Zusammenhang mit den Covid-19-Impfstoffen zu melden. Allein die Regel bzw. der Filter „Verdacht auf einen Kausalzusammenhang“ reicht schon aus. Auf der einen Seite werden alle Fälle gezählt, auf der anderen Seite, zu Recht, nur ein kleiner oder gar winziger Bruchteil.

Das zeigen auch die Zahlen: Seit Beginn der Impfkampagne bis zum 31. März 2022 wurden dem PEI 2.810 Verdachtsfälle im Zusammenhang mit den Covid-19-Impfstoffen mit tödlichem Verlauf gemeldet [1.]. Also in der Größenordnung ähnlich viele Todesfälle in 459 Tagen wie sonst an 1 Tag passieren. Ein Vergleich solch unterschiedlicher Quoten ist per se höchst fragwürdig.

Konsequenzen

Man kann und muss also die Regel aufstellen: Wenn irgendwie möglich müssen sowohl die Erwartungswerte als auch die Beobachtungswerte nach möglichst gleichen Regeln erhoben worden sein. Eben davon kann im Beispiel Tod bzw. tödlicher Ausgang keine Rede sein.

Im obigen Beispiel wird die Fragwürdigkeit der PEI-Signaldetektion offensichtlich. Unter der Voraussetzung, dass die Covid-19-Impfstoffe das allgemeine Sterbefallrisiko tatsächlich erhöhen, könnte die SMR-Schätzwerte überhaupt nur dann signifikante Ergebnisse liefern, wenn jeder Arzt wirklich alle Todesfälle aller Geimpften dem PEI als Verdachtsfall melden würde. Das ist aber eben nicht der Sinn der Vakzinovigilanz und kann bzw. sollte niemand erwarten.

Ähnlich wird das Ergebnis, wenn man repräsentative Studien für den Erwartungswert zu Grunde legt. Denn repräsentative Studien sollen ja nur den Aufwand einer Totalerfassung umgehen, wollen aber immer Aussagen für die Grundgesamtheit liefern. Auf jeden Fall gilt auch hier: Die Erfassungssysteme für Erwartungs- und Beobachtungswert sind grundverschieden. Auf der einen Seite das Bemühen um eine Totalerfassung, auf der anderen Seite eindeutig selektive Erfassung.

Man sollte hier aber nicht die Regeln zu Erhebung der Daten kritisieren, sondern derartig schräge Vergleiche.

Wie erkennt man die Unzulänglichkeit der Analysen?

Eine sinnvolle SMR-Analyse sollte Werte um die 1 liefern. Werte darüber, also z.B. schon 1,1 bei kleinem Konfidenzintervall, würden ein erhöhtes Risiko anzeigen; umgekehrt gilt das natürlich auch: Liegt die obere SMR-Vertrauensgrenze unterhalb der 1, gibt es drei Interpretationsmöglichkeiten:

• Zufälliger Befund.
  
  Dies kann man allerdings ausschließen, wenn der Abstand von der 1 relativ groß ist oder wenn, wie Abb. 1 zeigt, dieser bei sehr vielen Analysen vorliegt.
• Wirksamkeit.
  
  Es könnte sein, dass die Impfung einen vermindernden Einfluss auf diese Erscheinung hatte. Allerdings verwundert, dass bisland niemand eine solche Möglichkeit ansprach. Vermutlich wäre selbst einem Lauterbach eine solche Vermutung zu peinlich.

• Die Voraussetzungen für diesen Vergleich sind nicht gegeben; die Analyse ergibt ein unsinniges Ergebnis.
  
  Dies ist in der Tat die einzig sinnvolle Interpretation für die meisten SMR-Schätzwerte; eigentlich trifft dies auf alle in Abb. 1 gezeigten Erscheinungen zu.

Das PEI selbst schreibt dazu [4., Kapitel 6.3]:

„Ein OvE < 1 weist darauf hin, dass weniger Meldungen als erwartet erfasst wurden.“

1. Anteil der SMR Analysen des PEI mit 95% KI <1
   
   Quelle: Referenz 4., Tabellen 2 und 6.

Wenn sehr viele SMR-Schätzwerte weit entfernt von der 1 liegen, dann zeigt das an, dass man Kartoffeln mit Erdbeeren vergleicht. Beide sind im Prinzip essbar; aber das war es auch schon mit den Gemeinsamkeiten.

Bei den Todesfällen beträgt die höchste obere SMR-Vertrauensgrenze für Comirnaty, dem am häufigsten verabreichten Covid-19-Impfstoff, nur 0.108 (1 Tag nach der Impfung) und der höchste für alle Impfstoffe 0,170 (Vaxzevria, 1 Tag nach der Impfung). Alle anderen SMRs liegen noch weit darunter.

Auch die SMRs für die meisten vom PEI untersuchten potentiellen Nebenwirkung liegen in solch niedrigen Bereichen. Insbesondere ist bei allen Nebenwirkungen der Anteil der Analysen, bei denen selbst die obere Grenze des 95%-Konfidenzintervalls kleiner als 1 ist, deutlich größer als die maximal statistisch erwarteten 5% – in zwei Drittel der Fälle ist dieser Anteil gar 100% (Abb. 1). Man sollte da gar nicht erst anfangen, solche Zahlen zu interpretieren, denn die zeigen nur, dass die Methode SMR in diesem Zusammenhang keine sinnvollen Ergebnisse liefern kann.

2. Mittlere SMR gegen Grundinzidenz
   
   SMR nach 7 Tage, beide Skalen in logarithmischer Darstellung. Quelle: Referenz 4., Tabellen 2 und 6.

Lediglich bei den Sinus-/Hirnvenenthrombosen und der Immunthrombozypopenie liegen die mittleren SMRs in der Nähe der 1, bei Vaxzevria werden sogar Werte über 10 erreicht (Abb. 2). Gerade an diesen Beispielen wird deutlich: Die SMR-Methode ist allenfalls dann zur Signaldetektion sinnvoll, wenn die erwartete Inzidenz niedrig ist. In den beiden genannten Fällen kommt hinzu, dass längst wissenschaftliche Literatur vorlag, die Ärzte ermunterte, einen Verdachtsfall zu melden, eben weil die medizinische Erscheinung

• schwer und
• ungewöhnlich ist, und

• die Kausalität bereits beschrieben war.

Dass in diesen Fällen die SMR-Schätzwerte einmal „anschlugen“ sollte aber nicht über die grundsätzlichen Probleme hinwegtäuschen. Mindestens bei einer quantitativen Bewertung bleiben diese unabhängig von der Grundinzidenz bestehen. Selbst bei diesen beiden Erscheinungen und dem Produkt Vaxzevria sollte man eine Unterschätzung vermuten. Erst recht bei den entsprechenden SMRs der anderen Impfstoffe.

Das PEI kommt seiner Überwachungsaufgabe nicht nach

Eine sinnvolle Signaldetektion würde derartige Rechnungen für alle Ereignisse anstellen, die mit einer bestimmten Mindestinzidenz beobachtet wurden, z.B. alle Ereignisse mit mindestens 6 Meldungen. Das PEI deutet allerdings nicht einmal an, dass weitere Analysen vorgenommen wurden. Vielmehr gibt das PEI sogar zu, dass es die berichteten SMR-Analysen nur zu „ausgewählte unterwünsche Reaktionen“ machte, nämlich genau nur zu jenen, die in der Abb. 2 gezeigt sind. In früheren Sicherheitsberichten wurden noch weitere Erscheinungen gezeigt. Dabei erläuterte das PEI nirgends, warum gerade die sechs in Abb. 1 gezeigten Erscheinungen ausgewählt wurden.

Warum hat man nicht auch z.B. Myokarditis, Perikarditis, Herpes Zoster, Faziallähmung („Bell’s Palsy“) oder das Guillain-Barré-Syndrom anhand der SMR oder anderer OvE-Methoden ebenso analysiert?

Das Vorgehen des PEI hat etwas von Willkür und mangelnder Ernsthaftigkeit. So wie das PEI die Signaldetektion laut den eigenen Sicherheitsberichten macht bzw. veröffentlicht, können diese Analysen allenfalls einen vorhandene Verdacht bestätigen, aber keinesfalls irgendeinen neuen Verdacht aufspüren.

Es scheint, als würde das PEI alles vermeiden, um einen neuen Verdacht, also ein Signal, zu generieren. Damit käme das PEI seiner gesetzlichen Überwachungsaufgabe nicht nach.

Die einschlägige EU-Leitlinie GVP Modul IX [2.] verweist auf die Überlegungen der CIOMS Arbeitsgruppe VIII [3.]. In beiden Leitlinien werden OvE-Analysen empfohlen, allerdings nicht die SMR-Methode, die das PEI derzeit bei den Covid-19-Impfstoffen nutzt.

Statt dessen empfehlen diese Leitlinien, Daten aus der gleichen Quelle zu vergleichen, so z.B. Ref. 5.:

“They are thus best used as relative measures for comparing competing methods of signal detection within the same spontaneous reporting system at the same point in time.”

Auch die CIOMS-Leitlinie [3.] geht von der Voraussetzung aus, primär Daten aus der gleichen Datenbank zu vergleichen:

The common feature of DMAs that support disproportionality analysis is that they condense very complex safety datasets onto 2×2 contingency tables for each drug-event combination.

…und spezifiziert eine solche Tabelle kurz danach:

Das PEI macht mit seinen SMR-Analysen also das Gegenteil dessen, was die einschlägigen Leitlinien empfehlen.

Referenzen

1. Gesetz über das Bundesinstitut für Impfstoffe und biomedizinische Arzneimittel.
   
   https://www.gesetze-im-internet.de/basig/BJNR011630972.html !

2. European Medicine Agency. Guideline on good pharmacovigilance practices (GVP). Module IX – Signal management (Rev 1). In effect 22 Noevember 2017. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-ix-signal-management-rev-1_en.pdf

3. CIOMS: Practical Aspects of Signal Detection in Pharmacovigilance. Report of CIOMS Working Group VIII. Geneva 2010.
   
   https://cioms.ch/wp-content/uploads/2018/03/WG8-Signal-Detection.pdf

4. Paul-Ehrlich-Institut. Sicherheitsbericht, 4. Mai 2022, umfassend Daten vom 27.12.2020 bis zum 31.03.2022.
   
   https://www.pei.de/SharedDocs/Downloads/DE/newsroom/dossiers/sicherheitsberichte/sicherheitsbericht-27-12-20-bis-31-03-22.pdf?__blob=publicationFile

5. Guideline on good pharmacovigilance practices (GVP) Module IX Addendum I – Methodological aspects of signal detection from spontaneous reports of suspected adverse reactions.
   
   https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-ix-addendum-i-methodological-aspects-signal_en.pdf

---

Gastbeiträge geben immer die Meinung des Autors wieder, nicht meine. Ich veröffentliche sie aber gerne, um eine vielfältigeres Bild zu geben. Die Leserinnen und Leser dieses Blogs sind auch in der Lage sich selbst ein Bild zu machen.

Dr. König (Pseudonym) ist Physiker und beschäftigt sich beruflich intensiv mit statistischer Experimentdaten-Analyse.

Dr. Stein (Pseudonym) ist Apotheker mit jahrzehntelanger Erfahrung in der Pharma-Branche. Aus Rücksicht auf seine Familie möchte er nicht, dass sein wahrer Name genannt wird.

---

Bitte unterstütze unsere Arbeit via PayPal oder Überweisung

Folge uns auf Telegram und GETTR

---

Paul Ehrlich Institut (PEI) versus Realität – Video

Abrechnungsdaten der Krankenkassen belegen Sicherheitsdesaster der Gen-Impfstoffe

Brisante Aussage von Datenanalyst Tom Lausen im Deutschen Bundestag zum Impfpflichtgesetz