Künstliche Intelligenz in der Dermatologie: straf- und bußgeldrechtliche Risiken

Betreiber von KI-Systemen müssen durch organisatorische Maßnahmen sicherstellen, dass ihre Mitarbeiter über ein ausreichendes Maß an KI-Kompetenz verfügen. Unter KI-Kompetenz werden die Fähigkeiten, die Kenntnisse und das Verständnis verstanden, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI bewusst zu werden – und möglicher Schäden, die sie verursachen kann. Bei den erforderlichen organisatorischen Vorkehrungen sind die technischen Kenntnisse, die Erfahrungen, die Ausbildung und Schulung der Mitarbeiter zu berücksichtigen sowie der Kontext, in dem das KI-System eingesetzt werden soll.

Diagnosesysteme und Systeme zur Entscheidungsfindung im Gesundheitssektor fallen in der Regel in den Anwendungsbereich der Medizinprodukteverordnung¹⁰ oder der In-vitro-Diagnostika-Verordnung¹¹. Die KI-VO stuft sie daher als Hochrisiko-KI-Systeme ein. Die KI-VO stellt für den Betrieb von Hoch­risiko-KI in Art. 26 gesteigerte Sorgfaltsanforderungen auf, die Betreiber einhalten müssen:

1. Es müssen geeignete technische und organisatorische Maßnahmen getroffen werden, um sicherzustellen, dass die KI-Systeme entsprechend der den Systemen beigefügten Betriebs­anleitungen und gemäß Art. 26 Abs. 3 und 6 KI-VO verwendet werden (Art. 26 Abs. 1 KI-VO).
2. Der Betrieb des KI-Systems muss anhand der Betriebsanleitung überwacht werden (Art. 26 Abs. 5 S. 1 KI-VO).
3. Es muss mindestens einem Mitarbeiter, der über die erforderliche Kompetenz, Ausbildung und Befugnis verfügt, die menschliche Aufsicht über den KI-Einsatz übertragen werden. Dem Mitarbeiter muss die erforderliche Unterstützung in Form von Ressourcen und Befugnissen zukommen (Art. 26 Abs. 2 KI-VO).
4. Soweit die Eingabedaten der Kontrolle des Betreibers unterliegen, muss er dafür sorgen, dass die Eingabedaten der Zweck­bestimmung des Hochrisiko-KI-Systems entsprechen und ausreichend repräsentativ sind (Art. 26 Abs. 4 KI-VO).
5. Sofern der praktische Einsatz die Annahme begründet, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass die KI-Software ein Risiko für die Gesundheit des Patienten birgt, so müssen unverzüglich der Anbieter oder Händler und die zuständige Marktüberwachungsbehörde informiert werden (Art. 26 Abs. 5 S. 2 KI-VO).
6. Zudem muss in diesem Fall die Verwendung der KI ausgesetzt werden (Art. 26 Abs. 5 S. 2 KI-VO).
7. Sofern ein schwerwiegender Vorfall eintritt, müssen unverzüglich zuerst der Anbieter und dann der Einführer oder Händler und die zuständigen Marktüberwachungs­behörden über den Vorfall informiert werden (Art. 26 Abs. 5 S. 3 KI-VO).
8. Soweit die Betreiber die Kontrolle über die von der KI automatisch erzeugten Protokolle innehaben, müssen sie die Protokolle für einen der Zweckbestimmung des Hochrisiko-KI Systems angemessenen Zeitraum von mindestens sechs Monaten aufbewahren, sofern im geltenden Unionsrecht, insbesondere im Unionsrecht über den Schutz personenbezogener Daten, oder im geltenden nationalen Recht nichts anderes bestimmt ist (Art. 26 Abs. 6 KI-VO).

Neben diese Vorgaben treten die datenschutzrechtlichen Anforderungen der DS-GVO sowie die medizinprodukterechtlichen Vorgaben der MPBetreibV, außerdem allgemeine haftungsrechtliche Vorgaben wie die Aufklärung als Neulandmethode, da der Einsatz noch nicht dem Facharztstandard entspricht.

Die KI-VO sieht für Verstöße gegen die in Art. 26 KI-VO aufgelisteten Betreiberpflichten einen Bußgeldrahmen von bis zu 15.000.000,00 Euro oder – bei Unternehmen – von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres vor, je nachdem, welcher Betrag höher ist. Bei der Bemessung der Geldbuße soll u. a. der Grad an Verantwortung des Betreibers unter Berücksichtigung der von ihm ergriffenen technischen und organisatorischen Maßnahmen berücksichtigt werden. Bereits diese Risiken heben hervor, warum Dermatologen sich frühzeitig mit ihren Pflichten auseinandersetzen und entsprechende organisatorische Vorkehrungen treffen sollten. Daneben tritt das strafrechtliche Risiko einer fahrlässigen Körperverletzung oder Tötung, wenn es infolge des Einsatzes der KI zu Patientenschäden kommt. Klassische Fallgruppen werden sein:

• Übernahme der Diagnose-/ Behandlungsvorschläge der KI, ohne diese kritisch zu prüfen,
• eine fehlerhafte Datenausgabe der KI infolge fehlerhafter Dateneingaben,
• die fehlende Schulung/ Ausbildung der Mitarbeiter zum korrekten Einsatz der KI
• sowie Aufklärungsfehler (Stichwort: Neulandmethoden).

Wird das Ergebnis der KI blind übernommen, kann in Einzelfällen zusätzlich ein Verstoß gegen den Grundsatz der persönlichen Leistungserbringung vorliegen, der mit dem Risiko eines Abrechnungsbetrugs verbunden ist.

Werden die Vorgaben zur KI-Kompetenz nicht umgesetzt, droht dem Betreiber­verantwortlichen der Vorwurf des Organisationsverschuldens.

Zudem kann eine fehlerhafte Daten­eingabe zu einer rechtswidrigen Verarbeitung sensibler Gesundheitsdaten und damit zu einer Geldbuße nach der DS-GVO f­ühren.