Viele Klinikmanager denken beim AI Act zunächst an Tech-Konzerne und Softwarehersteller. Die EU-KI-Verordnung betrifft jedoch auch Krankenhäuser, die KI-Systeme einsetzen. Sie gelten in diesem Fall regelmäßig als Betreiber. Das kann etwa bei KI-gestützter Diagnosesoftware, Bewerbermanagementsystemen oder Anwendungen zur Notfall-Triage der Fall sein. Eine bloß automatisierte oder regelbasierte Software ist dagegen nicht automatisch ein KI-System im Sinne des AI Act. Die Vorgaben treten stufenweise in Kraft. Seit Februar 2025 gelten erste Verbote und die Pflicht, Maßnahmen zur Förderung der KI-Kompetenz zu treffen. Weitere Pflichten folgen ab August 2026, Dezember 2027 und August 2028.
Inhaltsverzeichnis
Überblick: AI Act
- Der AI Act gilt stufenweise. Die Hochrisiko-Pflichten greifen nicht vollständig im August 2026.
- Seit Februar 2025 gelten Verbote bestimmter KI-Praktiken.
- Kliniken müssen Maßnahmen zur Förderung der KI-Kompetenz treffen.
- Ab 2. August 2026 gelten insbesondere Transparenzpflichten.
- Hochrisiko-KI nach Anhang III folgt am 2. Dezember 2027.
- Für bestimmte KI-Medizinprodukte gelten die Hochrisiko-Regeln ab 2. August 2028.
- Kliniken sollten jetzt ein KI-Inventar und verbindliche Einsatzprozesse aufbauen. (Stand: Juli 2026)
Welche Regeln des AI Act gelten wann?
Die EU-KI-Verordnung ist seit 1. August 2024 in Kraft. Seit 2. Februar 2025 gelten unter anderem die Verbote bestimmter KI-Praktiken. Dazu zählt grundsätzlich die KI-gestützte Emotionserkennung am Arbeitsplatz. Ausnahmen bestehen für eng begrenzte medizinische oder sicherheitsbezogene Zwecke.
Kliniken müssen außerdem Maßnahmen zur Förderung der KI-Kompetenz ihrer Mitarbeiter und anderer eingesetzter Personen treffen. Ein bestimmtes Wissensniveau oder festes Schulungsformat schreibt der AI Act nicht vor.
Die Maßnahmen sollten sich jedoch nach dem Vorwissen der Mitarbeiter, ihrer Aufgabe und dem Risiko des eingesetzten Systems richten. Für Anwender einfacher Textwerkzeuge können Grundlagenschulungen genügen. Mitarbeiter, die Hochrisiko-KI überwachen, benötigen dagegen eine anwendungsbezogene Einweisung. Ein Zertifikat ist nicht vorgeschrieben. Schulungsnachweise, interne Leitlinien und dokumentierte Einweisungen sind dennoch sinnvoll.
Ab 2. August 2026 greifen die Transparenzpflichten nach Artikel 50. Menschen müssen grundsätzlich erkennen können, wenn sie mit einem dafür vorgesehenen KI-System interagieren. Das betrifft etwa Chatbots oder digitale Patientenassistenten. Auch für bestimmte KI-generierte oder manipulierte Inhalte gelten Kennzeichnungs- und Offenlegungspflichten.
Welche Pflicht eine Klinik konkret trifft, hängt von ihrer Rolle und der Anwendung ab. Manche Anforderungen richten sich an den Anbieter, andere an den Betreiber. Kliniken sollten dies bereits bei der Beschaffung vertraglich klären.
Die Hochrisiko-Vorgaben gelten nach der Änderung durch den AI Omnibus zu folgenden Terminen:
| Zeitpunkt | Regelungsbereich | Beispiele aus dem Klinikalltag |
|---|---|---|
| Seit 2. Februar 2025 | Verbotene Praktiken und KI-Kompetenz | Emotionserkennung am Arbeitsplatz, Schulungsmaßnahmen |
| Ab 2. August 2026 | Transparenzpflichten | Chatbots, digitale Patientenassistenten, bestimmte KI-Inhalte |
| Ab 2. Dezember 2027 | Hochrisiko-KI nach Anhang III | Recruiting, Personalmanagement, Notfall-Triage |
| Ab 2. August 2028 | Produktbezogene Hochrisiko-KI nach Anhang I | Bestimmte KI-basierte Medizinprodukte |
Welche KI-Anwendungen sind für Kliniken besonders relevant?
Vor der Risikoeinstufung ist zu prüfen, ob eine Anwendung überhaupt als KI-System im Sinne der Verordnung gilt. Nicht jede algorithmische oder automatisierte Software fällt darunter.
KI in Diagnostik und Behandlung
Nicht jede medizinisch genutzte Software ist automatisch Hochrisiko-KI. Die Einstufung hängt vom vorgesehenen Zweck, vom Medizinproduktstatus und von der erforderlichen Konformitätsbewertung ab.
Ein KI-System kann nach Artikel 6 Absatz 1 als Hochrisiko-System gelten, wenn es selbst ein erfasstes Produkt oder ein Sicherheitsbauteil eines solchen Produkts ist und eine Konformitätsbewertung durch eine unabhängige Stelle erforderlich ist. Der AI Act ersetzt dabei weder die Medizinprodukteverordnung noch die In-vitro-Diagnostika-Verordnung.
Reine Transkriptions-, Dokumentations- oder Kodierungshilfen gehören nicht allein wegen ihres Einsatzes im Krankenhaus zur Hochrisiko-KI.
Trotzdem dürfen ihre Ergebnisse nicht ungeprüft in Patientenakten, Arztbriefe oder Abrechnungen übernommen werden. Fehlerhafte oder erfundene KI-Ausgaben können medizinische, datenschutzrechtliche und haftungsrechtliche Folgen haben.
KI im Recruiting und Personalmanagement
Als Hochrisiko gelten insbesondere Systeme, die Bewerbungen analysieren, Kandidaten bewerten oder Entscheidungen über Beförderung, Kündigung und Arbeitsbedingungen beeinflussen.
Eine Dienstplansoftware ist dagegen nicht automatisch Hochrisiko-KI. Relevant kann die Einstufung werden, wenn Aufgaben anhand persönlichen Verhaltens oder individueller Eigenschaften vergeben werden.
Unabhängig vom AI Act können Mitbestimmungsrechte bestehen. Nach § 87 BetrVG ist der Betriebsrat bei technischen Einrichtungen einzubeziehen, die Verhalten oder Leistung von Arbeitnehmern überwachen können.
KI in Triage und Patientenkommunikation
KI-Systeme zur Priorisierung in der medizinischen Notfallversorgung sind in Anhang III ausdrücklich als Hochrisiko-Anwendung erfasst. Bei Patientenchatbots steht zunächst die Transparenz im Mittelpunkt. Zusätzlich bleiben Datenschutz, ärztliche Verantwortung und Patientensicherheit maßgeblich.
Ein Patient muss zudem erkennen können, ob er mit einem Menschen oder einem KI-System kommuniziert. Gibt ein Chatbot medizinische Informationen aus, braucht es klare Einsatzgrenzen, Eskalationswege und eine fachliche Kontrolle.
Generative KI und Patientendaten
Besondere Risiken entstehen, wenn Mitarbeiter frei verfügbare KI-Dienste für Arztbriefe, Übersetzungen oder Zusammenfassungen verwenden. Gesundheitsdaten zählen nach Artikel 9 DSGVO zu den besonders geschützten personenbezogenen Daten. Auch die ärztliche Schweigepflicht und § 203 StGB können betroffen sein.
Kliniken sollten daher festlegen, welche Anwendungen freigegeben sind und welche Daten eingegeben werden dürfen. Vor der Nutzung sind unter anderem Speicherort, Auftragsverarbeitung, Drittlandtransfer und eine mögliche Verwendung der Eingaben zum Modelltraining zu prüfen.
Führung & Management
Von Mitarbeiterführung bis Krankenhausmanagement: Führungsqualitäten und Manager-Skills entwickeln- mit unserem Rüstzeug für Ärzte in Führungspositionen.
Welche Pflichten treffen Kliniken als Betreiber?
Sobald die entsprechenden Hochrisiko-Regeln gelten, müssen Kliniken solche Systeme nach der Gebrauchsanweisung einsetzen. Für die menschliche Aufsicht sind Mitarbeiter erforderlich, die über Kompetenz, Schulung, Befugnisse und ausreichende Unterstützung verfügen.
Kliniken müssen den Betrieb überwachen und kontrollierbare Eingabedaten angemessen behandeln. Automatisch erzeugte Protokolle sind grundsätzlich mindestens sechs Monate aufzubewahren, soweit die Klinik darüber verfügt.
Erkennt die Klinik ein Risiko oder einen schwerwiegenden Vorfall, muss sie den Einsatz gegebenenfalls aussetzen und die vorgesehenen Stellen informieren. Vor dem Einsatz von Hochrisiko-KI am Arbeitsplatz sind außerdem die Arbeitnehmervertretung und die betroffenen Mitarbeiter zu informieren.
Daneben gelten DSGVO, Beschäftigtendatenschutz, Medizinprodukterecht und Arbeitsrecht weiter. Je nach System kann eine Datenschutz-Folgenabschätzung erforderlich sein.
Öffentliche Stellen und bestimmte private Einrichtungen, die öffentliche Dienstleistungen erbringen, können bei Hochrisiko-KI zusätzlich eine Grundrechte-Folgenabschätzung vornehmen müssen. Ob dies auf eine Klinik zutrifft, hängt unter anderem von ihrer Trägerschaft, ihrer Tätigkeit und dem konkreten System ab.
Sechs Schritte für eine belastbare KI-Governance
- KI-Inventar anlegen: Alle KI-Funktionen erfassen, auch in bereits beschaffter Software, Pilotprojekten und frei genutzten Online-Tools.
- Rolle und Zweck bestimmen: Dokumentieren, ob die Klinik Betreiber oder ausnahmsweise selbst Anbieter ist und wofür das System eingesetzt wird.
- Risiko und Frist prüfen: Verbote, Transparenzpflichten, Hochrisiko-Kategorien und Übergangsregeln getrennt bewerten.
- Beschaffung absichern: Vom Anbieter Zweck, Risikoeinstufung, Konformitätsstatus, Aufsichtskonzept, Protokollierung und Meldewege verlangen.
- Verantwortung festlegen: Medizin, HR, IT, Datenschutz, Informationssicherheit, Einkauf und Arbeitnehmervertretung frühzeitig einbinden. Ein eigener AI Officer ist gesetzlich nicht vorgeschrieben.
- Kontrollen und Kompetenz aufbauen: Freigaben, menschliche Prüfung, Vorfallmanagement, Schulungen und regelmäßige Neubewertungen verbindlich regeln.
Auch Modell- und Softwareupdates müssen erfasst werden. Ändert sich die Funktionsweise oder der vorgesehene Zweck wesentlich, ist eine erneute Prüfung notwendig.
Wer ein System wesentlich verändert, unter eigenem Namen anbietet oder dessen Zweck so ändert, dass daraus Hochrisiko-KI wird, kann selbst zum Anbieter werden. Ein eigener AI Officer ist dagegen gesetzlich nicht vorgeschrieben.
Wenn Dir unsere Artikel gefallen und Du keine neue Veröffentlichung verpassen möchtest, dann kannst Du hier mit nur einem Klick praktischarzt.de zu Deinen präferierten Quellen bei Google hinzufügen.
Häufige Fragen zum AI Act in der Klinikpraxis
- Gilt der AI Act nur für große Krankenhäuser?
- Muss eine Klinik den AI Act auch bei gekaufter Software beachten?
- Dürfen Mitarbeiter Patientendaten in ChatGPT oder andere KI-Dienste eingeben?
- Welche Bußgelder drohen?
Nein. Die Klinikgröße entscheidet nicht über die grundsätzliche Anwendbarkeit. Maßgeblich sind das verwendete KI-System, sein Zweck und die Rolle des Krankenhauses. Die organisatorischen Maßnahmen können jedoch verhältnismäßig ausgestaltet werden.
Ja. Der Anbieter trägt vor allem Verantwortung für Entwicklung und Konformität. Die Klinik bleibt als Betreiber für den regelgerechten Einsatz, menschliche Aufsicht und die Überwachung des Systems verantwortlich.
Nicht ohne vorherige Prüfung und Freigabe. Patientendaten dürfen nur verarbeitet werden, wenn Datenschutz, Schweigepflicht, technische Sicherheit und vertragliche Grundlagen geklärt sind. Für öffentliche oder frei zugängliche KI-Dienste sollte eine Klinik klare Verbote beziehungsweise Eingabegrenzen festlegen.
Verbotene KI-Praktiken können mit bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes sanktioniert werden. Bei zahlreichen weiteren Verstößen sind grundsätzlich bis zu 15 Millionen Euro oder drei Prozent möglich. Bei Unternehmen ist grundsätzlich der jeweils höhere Wert maßgeblich. Für kleine und mittlere Unternehmen gelten besondere Obergrenzen. Die konkrete Sanktion hängt unter anderem von Schwere, Dauer und Verschulden ab. Für öffentliche Einrichtungen richtet sich die Möglichkeit von Geldbußen zusätzlich nach nationalen Regelungen.
Mehr zum Thema Arbeitsrecht
Neueste Arztstellen
Neueste Arztstellen
