Ist KI im Gesundheitswesen nach dem EU AI Act Hochrisiko-KI?

Fünf Fragen, die Arztpraxen helfen, KI-Risiken und die Bedeutung der Zweckbestimmung eines Systems zu verstehen.

Die kurze Antwort: Nicht jede KI im Gesundheitswesen ist nach dem EU AI Act als Hochrisiko-KI eingestuft. Die Einstufung hängt davon ab, wofür ein System vorgesehen ist und ob es die einschlägigen rechtlichen Kriterien erfüllt.

Hinweis für Schweizer Praxen: Hier gilt der EU AI Act nicht automatisch. Bestehende Schweizer Datenschutz- und Berufspflichten bleiben relevant.

Stellen Sie sich zwei Patient:innen vor, die eine Arztpraxis kontaktieren.

Die erste Person möchte einen regulären Termin buchen. Ein KI-Assistent hilft ihr anhand der bestehenden Praxisregeln durch den Buchungsprozess.

Die zweite Person schildert ihre Symptome einem KI-System, das beurteilen soll, wie dringend sie in der Notfallversorgung medizinische Hilfe benötigt.

Beide Systeme nutzen KI, um Informationen zu interpretieren. Ihre Zweckbestimmungen, möglichen Folgen und rechtlichen Einstufungen können sich jedoch deutlich unterscheiden.

Der EU AI Act berücksichtigt diese Unterschiede mit seinem risikobasierten Ansatz. Sie zu verstehen, ist ein wichtiger Schritt, wenn Sie KI für Ihre Praxis in Betracht ziehen.

1. Was bestimmt die Risikoeinstufung eines KI-Systems?

Der EU AI Act legt für verschiedene KI-Kategorien unterschiedliche Anforderungen fest.

Bestimmte KI-Praktiken sind verboten. Einige Anwendungen gelten als Hochrisiko-KI und unterliegen zusätzlichen Anforderungen. Für andere Systeme können besondere Transparenzpflichten oder weitere Gesetze gelten, ohne dass sie als Hochrisiko-KI eingestuft sind.

Ausgangspunkt ist die Zweckbestimmung des Systems: die Verwendung, für die der Anbieter es entwickelt hat.

Ein Assistent für administrative Fragen erfüllt beispielsweise einen anderen Zweck als Software, die eine medizinische Diagnose unterstützen soll.

Die Einstufung hängt davon ab, ob Zweckbestimmung und Eigenschaften die gesetzlichen Kriterien erfüllen. Entscheidend ist nicht allein, dass das System KI nutzt oder im Gesundheitswesen eingesetzt wird.

2. Welche KI-Anwendungen im Gesundheitswesen können als Hochrisiko-KI gelten?

Zwei Regelungen des EU AI Act sind für das Gesundheitswesen besonders relevant.

Bestimmte Anwendungen nach Anhang III
Dazu gehören KI-Systeme zur Patiententriage in der Notfallversorgung, die dabei helfen zu bestimmen, wie dringend Patient:innen medizinische Hilfe benötigen.

Bestimmte regulierte Produkte nach Anhang I
Dazu können Medizinprodukte mit KI gehören, etwa entsprechende diagnostische Software, wenn die einschlägigen rechtlichen Voraussetzungen erfüllt sind. Dazu zählt auch die anwendbare Pflicht zur Konformitätsbewertung durch eine unabhängige Stelle.

Nicht jede KI-Anwendung im Gesundheitswesen und nicht jedes Medizinprodukt mit KI ist automatisch Hochrisiko-KI.

Der konkrete Zweck und die rechtliche Einstufung des einzelnen Systems bestimmen, welche Anforderungen gelten.

3. Ist KI mit direktem Patientenkontakt automatisch Hochrisiko-KI?

Nein. Ein KI-System wird nicht allein dadurch zu Hochrisiko-KI, dass es direkt mit Patient:innen kommuniziert.

Ein Assistent, der freigegebene Informationen zu Öffnungszeiten, Leistungen oder freien Terminen bereitstellt, ist nicht automatisch als Hochrisiko-KI eingestuft.

Ausserhalb der Hochrisiko-Kategorie zu liegen bedeutet jedoch nicht, dass eine Anwendung unreguliert oder risikofrei ist. Andere Anforderungen, darunter relevante Transparenz- und Datenschutzpflichten, können weiterhin gelten.

Für Arztpraxen ist es wichtig, zwischen der rechtlichen Einstufung eines Systems und der Verantwortung für seinen Einsatz im Gesundheitswesen zu unterscheiden.

Transparenz, Patientendaten und menschliche Beteiligung betrachten wir in Artikel 3 genauer.

4. Warum ist die Zweckbestimmung des Systems so wichtig?

Zwei Systeme können für Patient:innen ähnlich aussehen und dennoch grundlegend unterschiedliche Aufgaben übernehmen.

Betrachten Sie einen KI-Assistenten, der folgende Nachricht erhält: «Ich brauche einen Termin wegen eines Hautproblems.»

Ein administrativer Assistent könnte den Terminwunsch erkennen und anhand vordefinierter Praxisregeln durch die Buchung führen.

Ein System, das Symptome beurteilen und die Dringlichkeit medizinischer Hilfe bestimmen soll, hat eine andere Zweckbestimmung.

Der Unterschied liegt nicht unbedingt darin, wie Patient:innen mit der Technologie interagieren. Entscheidend ist, was die KI bestimmen soll und wie ihre Ergebnisse verwendet werden.

Deshalb ist die Zweckbestimmung eines Produkts zentral für seine Einstufung, nicht sein Erscheinungsbild oder seine allgemeinen Fähigkeiten.

5. Was geschieht, wenn eine Praxis KI ausserhalb ihrer Zweckbestimmung nutzt?

Ein KI-System sollte innerhalb seiner festgelegten Zweckbestimmung und Einsatzbedingungen verwendet werden.

Ein Produkt für administrative Fragen ist beispielsweise nicht schon deshalb für die Beurteilung von Symptomen oder Behandlungsempfehlungen geeignet, weil es Antworten auf medizinische Fragen erzeugen kann.

Ein Einsatz ausserhalb der Zweckbestimmung kann neue Risiken schaffen. Unter bestimmten Umständen können eine wesentliche Änderung des Systems oder eine veränderte Zweckbestimmung auch die rechtlichen Verantwortlichkeiten nach dem EU AI Act beeinflussen.

Klären Sie vor einer Erweiterung auf neue Aufgaben, ob der Anbieter die geplante Nutzung unterstützt und ob sich die Einstufung oder die anwendbaren Anforderungen ändern.

Holen Sie für Anwendungen mit klinischen Entscheidungen oder möglichen Hochrisiko-Einsätzen geeignete rechtliche und klinische Beratung ein.

Was das für Ihre Praxis bedeutet

Beschreiben Sie die Zweckbestimmung einer möglichen KI-Anwendung zunächst in einem Satz:

«Dieses KI-System soll [konkrete Aufgabe] mithilfe von [relevanten Informationen] für [festgelegten Zweck] ausführen.»

Prüfen Sie anschliessend, ob die Aufgabe administrativ oder klinisch ist, wie die Ergebnisse verwendet werden und ob die dokumentierte Zweckbestimmung des Anbieters zur geplanten Anwendung passt.

Diese Fragen helfen beim Verständnis der Einstufung und dabei zu erkennen, wo weitere Prüfungen nötig sein können.

Die entscheidende Frage ist nicht allein, ob KI im Gesundheitswesen eingesetzt wird. Entscheidend ist, wofür die Technologie entwickelt wurde.

Wie es weitergeht

Die rechtliche Risikoeinstufung ist nur ein Teil der Einführung von KI in einer Arztpraxis. Auch Anwendungen ausserhalb der Hochrisiko-Kategorie müssen beim direkten Patientenkontakt sorgfältig betrachtet werden.

Nächster Artikel: Kann KI das Patientenerlebnis verbessern, ohne Vertrauen zu gefährden?

Quellen


Dieser Artikel dient der allgemeinen Information und ersetzt keine rechtliche oder klinische Beratung. Die Einstufung eines einzelnen KI-Systems erfordert eine Prüfung seiner Zweckbestimmung und der anwendbaren Rechtsvorschriften.