Studie: ChatGPT stellt Diagnosen von Notfallpatienten „wie ein menschlicher Arzt

Künstliche Intelligenz Chatbot ChatGPT hat laut niederländischen Forschern Patienten in Notaufnahmen mindestens genauso gut diagnostiziert wie Ärzte und in einigen Fällen sogar besser, was darauf hindeutet, dass KI das medizinische Feld „revolutionieren“ könnte. Der am Mittwoch veröffentlichte Bericht betonte jedoch auch, dass Ärzte in Notaufnahmen ihre Kittel vorerst nicht an den Nagel hängen müssen, da der Chatbot zwar die Diagnose beschleunigen, aber nicht das medizinische Urteilsvermögen und die Erfahrung von Menschen ersetzen kann. Die Wissenschaftler untersuchten 30 Fälle, die 2022 in einem Notfalldienst in den Niederlanden behandelt wurden. Sie fütterten ChatGPT mit anonymisierten Patientenakten, Labortests und den eigenen Beobachtungen der Ärzte und baten ihn, fünf mögliche Diagnosen zu liefern. Anschließend verglichen sie die Vorschläge des Chatbots mit den fünf Diagnosen, die von Ärzten mit Zugang zu denselben Informationen vorgeschlagen wurden, und überprüften sie dann mit der richtigen Diagnose in jedem Fall. Ärzte hatten in 87 Prozent der Fälle die richtige Diagnose unter den Top fünf, verglichen mit 97 Prozent für ChatGPT Version 3.5 und 87 Prozent für Version 4.0. „Einfach ausgedrückt bedeutet dies, dass ChatGPT in der Lage war, medizinische Diagnosen ähnlich wie ein menschlicher Arzt vorzuschlagen“, sagte Hidde ten Berg von der Abteilung für Notfallmedizin im Jeroen Bosch Hospital in den Niederlanden. Co-Autor Steef Kurstjens erklärte gegenüber AFP, dass die Umfrage nicht darauf hinweise, dass Computer eines Tages die Notaufnahme leiten könnten, sondern dass KI eine wichtige Rolle bei der Unterstützung von unter Druck stehenden Medizinern spielen könne. „Der entscheidende Punkt ist, dass der Chatbot den Arzt nicht ersetzt, sondern bei der Diagnosestellung helfen kann und möglicherweise Ideen liefert, an die der Arzt nicht gedacht hat“, sagte Kurstjens. Große Sprachmodelle wie ChatGPT seien keine medizinischen Geräte betonte er und es gebe auch Bedenken hinsichtlich des Datenschutzes bei der Verwendung vertraulicher und sensibler medizinischer Daten in einem Chatbot.

Begrenzungen des ChatGPT
Der Bericht stellt jedoch fest, dass ChatGPT auch einige Einschränkungen aufweist. Die Schlussfolgerungen des Chatbots waren „manchmal medizinisch unplausibel oder inkonsistent, was zu Fehlinformationen oder falschen Diagnosen mit erheblichen Auswirkungen führen kann“, heißt es in dem Bericht. Die Wissenschaftler gaben auch einige Mängel in der Forschung zu. Die Stichprobengröße war klein, es wurden nur 30 Fälle untersucht. Darüber hinaus wurden nur relativ einfache Fälle betrachtet, bei denen die Patienten eine einzige Hauptbeschwerde hatten. Es war nicht klar, wie gut der Chatbot bei komplexeren Fällen abschneiden würde. „Die Wirksamkeit von ChatGPT bei der Bereitstellung mehrerer unterschiedlicher Diagnosen für Patienten mit komplexen oder seltenen Krankheiten ist nicht nachgewiesen.“ Manchmal lieferte der Chatbot nicht die richtige Diagnose in seinen fünf besten Möglichkeiten, erklärte Kurstjens, insbesondere im Fall eines Bauchaortenaneurysmas, einer potenziell lebensbedrohlichen Komplikation, bei der die Aorta-Arterie anschwillt. Der einzige Trost für ChatGPT: In diesem Fall lag auch der Arzt falsch. Der Bericht zeigt auch die medizinischen „Bloopers“ auf, die der Chatbot gemacht hat, zum Beispiel die Diagnose einer Anämie (niedrige Hämoglobinspiegel im Blut) bei einem Patienten mit normalen Hämoglobinwerten. „Es ist wichtig zu bedenken, dass ChatGPT kein medizinisches Gerät ist und es Bedenken hinsichtlich des Datenschutzes gibt, wenn ChatGPT mit medizinischen Daten verwendet wird“, schloss ten Berg. „Es besteht jedoch das Potenzial, Zeit zu sparen und Wartezeiten in der Notaufnahme zu verringern. Der Nutzen von künstlicher Intelligenz könnte darin bestehen, Ärzte mit weniger Erfahrung zu unterstützen oder seltene Krankheiten zu erkennen“, fügte er hinzu. Die Ergebnisse werden in der medizinischen Fachzeitschrift Annals of Emergency Medicine veröffentlicht und auf dem Europäischen Kongress für Notfallmedizin (EUSEM) 2023 in Barcelona vorgestellt

Original Artikel Teaser

ChatGPT diagnoses ER patients ‘like a human doctor’: study

Artificial intelligence chatbot ChatGPT diagnosed patients rushed to emergency at least as well as doctors and in some cases outperformed them, Dutch researchers have found, saying AI could “revolutionise the medical field”. But the report published Wednesday also stressed ER doctors needn’t hang up their scrubs just yet, with the chatbot potentially able to speed up diagnosis but not replace human medical judgement and experience. Scientists examined 30 cases treated in an emergency service in the Netherlands in 2022, feeding in anonymised patient history, lab tests and the doctors’ own observations to ChatGPT, asking it to provide five possible diagnoses. They then compared the chatbot’s shortlist to the same five diagnoses suggested by ER doctors with access to the same

Details zu ChatGPT diagnoses ER patients ‘like a human doctor’: study