Dresdner Forscher warnen vor gefährlichen Fehlern medizinischer KI
Forscher von ScaDS.AI Dresden/Leipzig haben untersucht, wie zuverlässig große Sprachmodelle medizinisches Wissen mit individuellen Patientendaten verbinden. Selbst bei korrektem Fachwissen können sicherheitskritische Fehler entstehen.
Eine künstliche Intelligenz kann eine medizinische Fachfrage korrekt beantworten und dennoch eine gefährliche Empfehlung geben. Entscheidend ist, ob sie die persönliche Situation des Patienten richtig versteht.
Neuer Prüfstandard entwickelt
Zhan Qu und Professor Michael Färber von ScaDS.AI Dresden/Leipzig haben den Benchmark „MediEval“ entwickelt.
Damit wird geprüft, ob große Sprachmodelle medizinisches Wissen korrekt mit patientenspezifischen Informationen verbinden.
Fehler trotz richtigem Fachwissen
Die Untersuchung zeigt, dass ein System die medizinischen Grundlagen kennen und dennoch den individuellen Kontext falsch bewerten kann.
Zu solchen Informationen gehören beispielsweise Vorerkrankungen, Alter, Medikamente, Symptome oder besondere Risiken.
Auszeichnung bei internationaler Konferenz
Die Arbeit erhielt bei der Jahrestagung der Association for Computational Linguistics einen Outstanding Paper Award.
Damit wurde sie als besonders bedeutender Beitrag zur aktuellen Forschung über Sprachmodelle gewürdigt.
KI darf Ärzte nicht ungeprüft ersetzen
Die Ergebnisse bedeuten nicht, dass künstliche Intelligenz in der Medizin grundsätzlich ungeeignet ist. Sie zeigen jedoch, dass Empfehlungen überprüft und Systeme gezielt auf sicherheitskritische Fehler getestet werden müssen.
Die Verantwortung für Diagnose und Behandlung muss bei qualifizierten medizinischen Fachkräften bleiben.
Quellen
TU Dresden und ScaDS.AI Dresden/Leipzig – Informationen zum Forschungsbenchmark MediEval und zur Auszeichnung bei der ACL 2026
Sachsen / Dresden: Studie deckt Risiken medizinischer KI auf
Dresdner Forscher zeigen, dass Sprachmodelle trotz richtigen Fachwissens individuelle Patientensituationen falsch bewerten können.
