KI-Grenzen kennen – So vermeidest Du Fehldiagnosen

KI-Systeme erkennen Melanome auf Hautbildern mit beeindruckender Präzision, detektieren Lungenknoten im CT früher als das menschliche Auge und analysieren EKG-Daten in Sekunden. Die Versprechen sind groß – und oft berechtigt. Doch was passiert, wenn der Algorithmus, dem Du bei der Diagnosefindung vertraut hast, falsch liegt? Wenn eine KI eine Pneumonie als unauffällig einstuft, einen Tumor übersieht oder eine falsche Medikamentenempfehlung generiert? Fehldiagnosen durch KI passieren und werden häufiger passieren, je mehr KI-Systeme in den klinischen Alltag einziehen. Für Dich als Arzt stellt sich dabei eine dringende Frage: Wie erkennst Du, wann ein KI-Ergebnis falsch ist – und wie schützt Du Dich rechtlich, wenn Du es nicht erkennst?

Was KI falsch machen kann – und warum Dich das betrifft

Wenn Du verstehst, warum eine KI irrt, kannst Du besser einschätzen, wann Du ihr trauen darfst:

1. Schlechte oder verzerrte Trainingsdaten

KI-Systeme lernen aus Daten. Sind diese Daten einseitig – etwa weil sie überwiegend von einer bestimmten Bevölkerungsgruppe stammen – erkennt das System Muster bei anderen Gruppen schlechter. Eine KI für Hautkrebserkennung, die hauptsächlich mit Bilddaten hellhäutiger Patienten trainiert wurde, zeigt bei dunklerer Haut messbar schlechtere Erkennungsraten. Sprich: Ein Modell ist nur so gut wie die Daten, mit denen es trainiert wurde. Verzerrte oder unvollständige Datensätze führen zu verzerrten Ergebnissen.

2. Halluzinationen bei generativer KI

Generative KI-Systeme, die Texte, Berichte oder Empfehlungen formulieren, können Inhalte produzieren, die faktisch falsch, aber sprachlich überzeugend klingen. Eine KI, die auf Basis einer Anamnese eine Diagnose formuliert, kann dabei Zusammenhänge herstellen, die medizinisch nicht existieren. Dieser Effekt wird als „Halluzination” bezeichnet und ist für ungeübte bzw. bei Themen, bei denen man nicht Spezialist ist, eine mögliche Fehlerfalle, wenn man den Inhalt nicht streng hinterfragt und weitere Quellen und Hilfsmittel nutzt.

3. Verteilungsverschiebung (Distribution Shift)

Ein KI-Modell, das an einer Universitätsklinik mit hochauflösenden MRT-Geräten trainiert wurde, kann bei der Anwendung auf Geräte einer kleineren Klinik mit anderer Bildqualität deutlich schlechter abschneiden. Die Datenverteilung im Betrieb weicht von der Trainingsumgebung ab – das Modell „kennt” die neue Realität nicht.

4. Out-of-Distribution-Fälle

Jedes KI-System hat seinen definierten Anwendungsbereich. Wird es mit seltenen Erkrankungen, atypischen Befundkonstellationen oder Komorbiditäten konfrontiert, die außerhalb dieses Bereichs liegen, liefert es trotzdem eine Ausgabe. Allerdings keine verlässliche. Das System weiß nicht, dass es überfordert ist.

5. Nutzerfehler auf Arztseite

Nicht jeder KI-Fehler liegt im System selbst. Falsch eingegebene Patientendaten, die Verwechslung von Einheiten, die Nutzung eines Systems außerhalb seiner Zulassung oder die schlichte Fehlinterpretation einer KI-Antwort sind reale Fehlerquellen, die eindeutig im Verantwortungsbereich des Nutzers liegen.

Karriere als Arzt/Ärztin

Alles für die Arzt-Karriere: Von Tricks zur Bewerbung über Gehaltsinformationen, Weiterbildungen, hilfreichen Infos für Praxisgründer bis zu alternativen Berufsfeldern.

Mehr zu Karriere als Arzt/Ärztin

Der Automation Bias: Das größte Risiko im Alltag

Studien zeigen, dass auch Fachexperten Fehlern automatisierter Systeme systematisch weniger Aufmerksamkeit schenken als menschlichen Fehlern. Dieses Phänomen nennt sich Automation Bias und ist im klinischen Umfeld besonders gefährlich. Ein typisches Szenario: Das KI-System stuft einen Befund als unauffällig ein. Der Radiologe vertraut dem Ergebnis – und übersieht unter Zeitdruck auch, was das System schon übersehen hat. Haftungsrechtlich ist die Konsequenz klar: Der Arzt hat nicht eigenständig und sorgfältig befundet. Das ist ein Behandlungsfehler. Merke Dir: Eine KI-Ausgabe ist ein Input für Deine Entscheidung – kein Ersatz dafür!

Haftung bei Fehldiagnose durch KI – Ein kurzer Überblick

Diese Haftungsstränge schließen sich nicht gegenseitig aus – im Schadensfall kann es zur parallelen Inanspruchnahme mehrerer Akteure kommen.

Das Black-Box-Problem verschärft alles

Der gefährlichste Aspekt bei der Aufklärung von KI-Fehldiagnosen ist strukturell: Viele KI-Systeme erklären ihre Ausgaben nicht. Sie liefern ein Ergebnis, aber keine Begründung. Das macht es für Patienten, Anwälte und Gerichte extrem schwer, den Kausalzusammenhang zwischen einem KI-Fehler und einem Patientenschaden nachzuweisen.

Für Dich als Arzt bedeutet das paradoxerweise ein erhöhtes Risiko: Wenn unklar ist, ob der Fehler im System oder in Deiner Entscheidung lag, wird im Zweifel Dein Handeln unter die Lupe genommen. Mehr zur Haftung bei KI-Verwendung und dem unterschätzten Faktor Datenschutz hier:

• KI im Sprechzimmer: Wer haftet, wenn der Algorithmus irrt?

Klinik & Karriere

Die Herausforderungen der Klinikkarriere meistern mit Einblicken in Klinikalltag, Strategien zur Karriereentwicklung und die Kunst der Work-Life-Balance.

Mehr zu Klinik & Karriere

Spezialfall: KI übersieht etwas, das Du auch übersehen hättest

Eine häufig gestellte Frage lautet: Was gilt, wenn das KI-System einen Befund übersieht, den ein menschlicher Arzt unter denselben Umständen ebenfalls übersehen hätte? Die Antwort ist juristisch komplex und noch nicht höchstrichterlich geklärt. Denkbar sind zwei Szenarien:

• Es liegt ein Behandlungsfehler vor, wenn die KI dem Stand der Technik entspricht und der Arzt ihr Ergebnis angemessen eingeordnet hat.
• Es liegt ein Behandlungsfehler vor, wenn durch den Einsatz der KI eine falsche Sicherheit entstanden ist, Dich als Arzt davon abgehalten hat, zusätzliche diagnostische Schritte einzuleiten.

Bedeutung der „Neulandmethode”

Da sich für KI-gestützte Diagnoseunterstützung noch kein einheitlicher medizinischer Standard etabliert hat, gilt ihr Einsatz aktuell als sogenannte Neulandmethode. Das hat direkte Folgen für Deine Aufklärungspflicht:

Du musst Patienten vor dem Einsatz darüber informieren:

• dass ein KI-System zur Diagnoseunterstützung verwendet wird
• welche Grenzen und Unsicherheiten dieses System hat
• dass die finale Entscheidung bei Dir als Arzt liegt
• welche Alternativen ohne KI-Einsatz bestehen

Diese Aufklärung muss dokumentiert und idealerweise schriftlich bestätigt werden. Fehlt sie, ist die Behandlung sogar dann rechtlich angreifbar, wenn sie gut ausgeht.

8 konkrete Maßnahmen zum Schutz vor Haftung bei KI-Fehldiagnosen

Der beste Schutz vor Haftung ist eine strukturierte, dokumentierte und kritische Nutzung von KI-Systemen. Hier sind die wichtigsten Punkte:

1. Nur zugelassene Systeme nutzen: Setze ausschließlich CE-zertifizierte KI-Produkte ein, die als Medizinprodukt für den jeweiligen Anwendungsbereich zugelassen sind.
2. Eigene klinische Bewertung dokumentieren: Notiere nicht nur das KI-Ergebnis, sondern auch, wie du es bewertet, hinterfragt und in Deine Entscheidung eingeflossen ist.
3. Grenzen des Systems kennen: Informiere Dich über den validierten Einsatzbereich des KI-Systems. Nutze es nicht für Indikationen, für die es nicht entwickelt wurde.
4. KI-Ergebnisse aktiv hinterfragen: Stimmt das KI-Ergebnis nicht mit dem klinischen Bild überein, gilt: Der klinische Befund hat Vorrang. Dokumentiere die Abweichung.
5. Patienten aufklären: Weise auf den KI-Einsatz, seine Grenzen und den Charakter als Neulandmethode hin – schriftlich und vor der Behandlung.
6. Fortbildung als Pflicht verstehen: Der medizinische Standard für KI-Einsatz entwickelt sich schnell. Wer nicht auf dem Laufenden bleibt, riskiert, hinter einem neu entstehenden Standard zurückzubleiben.
7. Datenschutz sicherstellen: Prüfe vor dem Einsatz, ob alle DSGVO-Anforderungen erfüllt sind (Datenschutzfolgeabschätzung, Auftragsverarbeitungsvertrag, Einwilligungen).
8. Berufshaftpflicht prüfen: Nicht alle Haftpflichtversicherungen decken Schäden durch KI-gestützte Behandlungen ab. Frage aktiv nach und passe Deinen Versicherungsschutz an.

Versicherungen für Ärztinnen und Ärzte

Wichtige Versicherungen für ärztliches Fachpersonal im Detail erklärt. Wir geben einen Überblick, welche Versicherungen Ärztinnen und Ärzte benötigen.

Mehr zu Versicherungen für Ärztinnen und Ärzte

Fazit: Wachsamkeit schlägt Technikvertrauen

KI in der Diagnostik ist eine echte Chance – für frühzeitige Diagnosen, für die Entlastung von Ärzten und für eine bessere Patientenversorgung. Aber bei aller Chance darfst Du Deine Verantwortung nicht vergessen. Der Algorithmus hat keine Approbation, keine Berufspflichten und haftet im Zweifel auch nicht. Du schon.

Die gute Nachricht: Du musst nicht auf den Einsatz von KI verzichten, um Dich zu schützen. Du musst KI nur richtig nutzen. Sei kritisch und vergiss nicht, dass die letzte Entscheidung bei Dir liegt. Wenn Du KI als Werkzeug begreifst, das Deinen Sachverstand ergänzt, aber nicht ersetzt, bist Du medizinisch und rechtlich auf der sicheren Seite.