KI unterstützt – Verantwortung bleibt

Kaum eine Praxis arbeitet mehr ohne Praxisverwaltungssystem, Patientenakten werden digital geführt. „Klassische“ Software-Anwendungen gehören längst zum Praxisalltag. Hinzu kommen nun aber vermehrt Systeme, die auf künstlicher Intelligenz (KI) basieren. Sie sollen Kommunikation, Diagnostik, Dokumentation, Abrechnung und andere Datenverarbeitungsprozesse vereinfachen. Und mit den neuen Chancen kommen die neuen Pflichten.

Die erste Grundregel: Auch beim Einsatz KI-unterstützer Software verbleibt die Verantwortung für die Entscheidungsfindung, die Beachtung der ärztlichen Sorgfalt und die Erfüllung der Pflicht zur ordnungsgemäßen Behandlungsdokumentation vollständig bei der behandelnden Ärztin bzw. dem behandelnden Arzt oder der Praxis. KI-Systeme unterstützen bei der Pflichterfüllung; sie können und dürfen ärztliche Leistungen nicht ersetzen.

Daher sollte etwa eine KI-generierte Aufzeichnung oder Zusammenfassung auch nicht ohne Weiteres und automatisch in die Patientenakte überführt werden. Die korrekte Wiedergabe des Gesprochenen, die Zusammenfassung und Strukturierung des Erfassten sowie dessen Einordnung in tatsächlichen und medizinischen Kontext sind gegenzuprüfen. Ärztinnen und Ärzte haften für die Folgen fehlerhafter oder „halluzinierter“ Inhalte.

KI, Schweigepflicht und Datenschutz

Ärztinnen und Ärzte unterliegen wie auch ihr Personal den Regeln des Datenschutzrechts und der berufsrechtlich vorgegebenen, strafbewehrten Schweigepflicht. Bei der Aufzeichnung eines Arzt-Patienten-Gesprächs findet ebenso wie bei dessen automatisierter Auswertung eine Verarbeitung personenbezogener Gesundheitsdaten statt. Als außergewöhnlich sensible Daten genießen diese besonderen rechtlichen Schutz.

Um diesen Schutz zu gewährleisten, ist der Zweck der Datenverarbeitung für jede eingesetzte Anwendung eindeutig zu bestimmen. Es muss sichergestellt sein, dass der Vertragspartner die verwendeten Daten nicht im Rahmen des KI-Trainings zur Verbesserung seines Anwendungsmodells einsetzt.

In jedem Fall sind die Patientinnen und Patienten vor dem ersten Einsatz eines KI-Systems über dessen Anwendung und die dabei stattfindenden Prozesse umfassend zu informieren. Es bietet sich an, die Informationen zum Einsatz des Tools mit der allgemeinen Patienteninformation zum Datenschutz zu verbinden.

Empfehlung: Zustimmung dokumentieren

Zur rechtlichen Absicherung sollte die ausdrückliche Einwilligung der informierten Patientinnen und Patienten zur beschriebenen Verarbeitung ihrer Daten durch die verwendete KI-Anwendung eingeholt werden. Viele Anbieter halten ein entsprechendes „Consent-Modell“ vor und entsprechende Unterlagen bereit. Wer ein vertrauliches Gespräch ohne Erlaubnis aufzeichnet, macht sich strafbar. Auch deshalb sollten Sie insbesondere bei Dokumentationshilfen auf eine schriftliche Vorab-Zustimmung der Patientinnen und Patienten nicht verzichten.

Nachweise und vertragliche Zusicherungen

Mit dem Anbieter des eingesetzten Tools ist ein Vertrag über die Datenverarbeitung im Auftrag der Praxis zu schließen. Es ist Aufgabe der Praxis zu prüfen, ob der Anbieter ausreichende technische und organisatorische Maßnahmen zum Datenschutz unternimmt. Dies können entsprechende Zertifizierungen oder Datenschutzsiegel belegen.

Werden Gesundheitsdaten in einer sog. „Cloud“ gespeichert oder weitergehend verarbeitet, gibt § 393 SGB V weitere Voraussetzungen für eine rechtskonforme Handhabung der Prozesse vor. Danach ist durch eine Zertifizierung nach dem Cloud Computing Compliance Criteria Catalogue (C5) des Bundesamts für Sicherheit in der Informationstechnik (BSI) zu bestätigen, dass die in Anspruch genommenen Cloud-Dienste den Anforderungen des BSI an Informationssicherheit, Datenschutz und Compliance entsprechen. Die Einhaltung der C5-Kriterien wird regelmäßig durch unabhängige Prüfstellen wie etwa entsprechend qualifizierte Wirtschaftsprüfer kontrolliert. Natürlich ist auch die Beibringung eines Belegs zulässig, der die Einhaltung eines vergleichbaren oder sogar höheren Sicherheitsniveaus bestätigt.

Die Norm ISO/IEC 27001 bietet einen international gültigen Standard für Informationssicherheitsmanagementsysteme. Sie definiert systematische Anforderungen zum Schutz sensibler Daten – etwa für Risikoanalysen, technische Kontrollen und zum Notfallmanagement. Kann der Anbieter eines KI-Systems die Konformität der Anwendung mit dieser Norm belegen, ist dies zur Absicherung ebenfalls hilfreich, aber nicht vorgeschrieben.

Problematische Datentransfers in Drittstaaten sind in jedem Fall auszuschließen. Bestenfalls werden die aufgezeichneten Daten rechtskonform auf in Deutschland oder der EU befindlichen Servern verarbeitet.

Chatbots und Agenten

Die sog. KI-Verordnung (AI Act) verpflichtet Anbieter interaktiver Systeme, an KI-gestützter Konversation Beteiligte über den künstlichen, nicht-menschlichen Charakter der Interaktion zu informieren. Kommen für die Praxis KI-Systeme zum Einsatz, die mit Personen direkt kommunizieren, muss für diese Personen spätestens bei dem Beginn der ersten Interaktion erkennbar werden, dass die Konversation mit einer KI-Assistenz stattfindet. Entsprechende Hinweise lassen sich beispielsweise in Begrüßungspassagen à la „Hallo, hier ist der KI-Telefonassistent der Praxis XY. Wie kann ich Ihnen helfen?“ integrieren

Haftung für halluzinierende Chatbots

Irrt sich die KI und gibt falsche Informationen aus, haftet dafür die Ärztin, der Arzt oder die Praxis, für die bzw. den das KI-Tool zum Einsatz kommt – zumindest dann, wenn die das System betreibende Person Einfluss auf die Anwendung hat und sie in Gang setzt. Das zeigte erst jüngst ein Urteil gegen zwei Ärzte wegen von ihrer KI erfundener Facharzttitel und -richtungen.

Wer KI-gestützte Programme einsetzt, sollte daher umsichtig prüfen, was die Software an Falschinformationen ausgeben könnte. Zumindest naheliegende Falschbehauptungen gilt es zu verhindern. Generische Disclaimer wie „KI kann Fehler machen“ verhindern regelmäßig nicht die Haftung für irreführende Falschaussagen.

Medizinprodukte: Besondere Risiken

Je nach Funktionsumfang kann ein KI-System als Medizinprodukt gelten. Die Einstufung richtet sich nach dem mit dem Einsatz der Anwendung verbundenen Risiko. Chatbots, Telefonassistenten oder KI-gestützte Dokumentationssysteme bergen in aller Regel nur geringe Risiken. Bei Systemen, die bei ärztlicher Diagnostik oder Therapieentscheidung unterstützen, dürfte es sich dagegen regelmäßig um Medizinprodukte handeln.

Für den Einsatz solcher Programme gelten besondere Anforderungen. Er sollte nicht ohne rechtliche Beratung erfolgen. In einem ersten Schritt sollte der Anbieter eine sog. CE-Kennzeichnung vorlegen und die Konformität mit der europäischen KI-Verordnung belegen können.

Pflichten aus dem AI Act für Organisation und Personal

Aus der europäischen KI-Verordnung (AI Act) ergeben sich Pflichten, den Einsatz von KI-Systemen organisatorisch zu erfassen, zu kontrollieren und zu prüfen (sog. „KI-Compliance“). Die Anforderungen richten sich dabei nach dem mit der Anwendung verbundenen Risiko. Konkrete formelle Vorgaben enthält die Verordnung nicht.

Arbeitgebern gibt die Verordnung auf, geeignete Maßnahmen zur Förderung der „KI-Kompetenz“ ihrer Mitarbeitenden zu ergreifen. Es geht darum, ihnen ein grundlegendes technisches Verständnis zu vermitteln und es ihnen zu ermöglichen, eingesetzte KI-Systeme kritisch zu hinterfragen. Dem Praxis-Team sollten Chancen und Risiken sowie potenzielle Schäden bekannt sein, und es sollte in der Lage sein, auf Nachfrage dazu Auskunft zu erteilen. Um dies zu gewährleisten, empfiehlt es sich, eine verständliche KI-Richtlinie für die Praxis anzulegen und das Praxispersonal in gewissen Abständen zu schulen. Das beugt auch Fehlbedienung, Datenabfluss und Geheimnisverletzungen vor.

Die KBV-Broschüre „Praxis- Wissen Künstliche Intelligenz“ bietet einen praxisnahen Einstieg ins Thema. Erschienen 12/2025. Kostenloser Download unter https://www.kbv.de/praxis/tools-und-services/praxisnachrichten/2025/05-28/neues-kbv-praxiswissen-hinweise-zum-einsatz-von-ki-in-praxen.