Der KI- Entwurf der EU- Kommission: Bedeutung für die Medizin und Gesundheitsversorgung

In 2021 hat die Europäische Kommission („EU-Kommission“) ihren Entwurf einer Verordnung zur Regulierung der Nutzung Künstlicher Intelligenz („KI“) veröffentlicht. Der Verordnungsentwurf, enthält Vorschriften für die Entwicklung, das Inverkehrbringen und die Nutzung von KI-Systemen in der Europäischen Union („EU“).

Mit einem auf die Besonderheiten von KI abgestimmten Regulierungsrahmen soll nach den Vorstellungen der EU-Kommission das Vertrauen der Gesellschaft in existierende sowie zukünftige KI-Anwendungen gestärkt werden. Dieser Rahmen versucht auf der Grundlage europäischer Werte einen eigenen Weg zur Nutzung von KI zu finden, ohne vor dem Hintergrund des internationalen Wettbewerbs die Chancen der Technologie zu blockieren.

Mit dem „Artificial Intelligence Act” liegt mit dem „Gesetz über Künstliche Intelligenz“, ein Entwurf vor, nach dem KI-Anwendungen ihrem potentiellen Risiko nach in vier Kategorien eingruppiert werden: „unannehmbares Risiko“, „hohes Risiko“, „geringes Risiko“ und „minimales Risiko“. Das Kernstück des Entwurfs ist dabei die umfangreiche Regulierung solcher KI-Systeme, die nach diesem Ansatz ein hohes Risiko aufweisen.

Inhalte des „Artificial Intelligence Act”

Anwendungen von KI mit unannehmbarem Risiko werden in Art. 5 Nr. 1 verboten. Darunter fallen solche Anwendungen, die menschliches Verhalten manipulieren und dadurch Menschen Schaden zufügen können (lit. a und b), was nach Angaben der Kommission beispielsweise ein „Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert“, sein könnte.

Ebenfalls verboten werden Anwendungen, die Behörden eine Bewertung der Vertrauenswürdigkeit von Personen auf der Grundlage ihres Sozialverhaltens oder persönlichkeitsbezogener Merkmale und eine daran anknüpfende ungünstige Behandlung dieser Personen ermöglichen (lit. c). Gemeint sind damit zum Beispiel Sozialkredit-Systeme, die derzeit in verschiedenen Formen bereits in China praktiziert werden und nach Ansicht der EU-Kommission mit europäischen Werten nicht vereinbar sind.

Zuletzt untersagt die Vorschrift im Grundsatz die Verwendung von Echtzeit-Fernerkennungssystemen im öffentlichen Raum zur biometrischen Identifizierung von Personen zum Zweck der Strafverfolgung (lit. d). Hier sind in der Vorschrift jedoch mehrere Ausnahmen vorgesehen, die in der Praxis wohl regelmäßig zum Einsatz kommen könnten: So soll die Anwendung von KI etwa zur Terrorabwehr oder Aufdeckung schwerer Straftaten möglich sein.

Untermauert wird das Verbot von einer Bußgeldvorschrift in Art. 71 Nr. 3 lit. a, die für Verstöße mit bis zu EUR 30 Millionen oder 6 % des weltweiten Jahresumsatzes, je nachdem welcher Betrag höher ist, durchaus empfindliche Strafzahlungen vorsieht.

Die zweite Kategorie von KI-Anwendungen, die in Art. 6 und 7 des Entwurfs genannt sind, sind solche, die ein hohes Risiko für die Gesundheit, Sicherheit oder die Grundrechte von Menschen darstellen. Die Einstufung als hohes Risiko hängt nicht nur von der ausgeführten Tätigkeit des KI-Systems ab, sondern auch von dem Zweck, für den das System verwendet wird.

KI-Anwendungen mit hohem Risiko werden in Anhang III des Verordnungsentwurfs mittels einer Auflistung konkretisiert, die laufend aktualisiert werden kann. Darunter fallen beispielsweise KI-Anwendungen für die biometrische Identifizierung und Kategorisierung von Personen (Nr. 1), für die Verwaltung und den Betrieb von kritischer Infrastruktur (Nr. 2), für die Regulierung des Zugangs zu Bildungseinrichtungen (Nr. 3), für Recruiting und Personalmanagement (Nr. 4) oder für den Zugang zu wesentlichen privaten und öffentlichen Leistungen (Nr. 5). Auch in den Bereich der KI-Anwendungen mit hohem Risiko fallen Systeme zur Unterstützung der Strafverfolgungsbehörden (Nr. 6), der Migration-, Asyl- und Grenzkontrolle (Nr. 7)  und der Justiz (Nr. 8). Es handelt sich also größtenteils um Anwendungen, die in grundrechtssensiblen Bereichen Entscheidungen über Menschen treffen und deren Einsatz bereits heute möglich – oder jedenfalls in naher Zukunft vorstellbar – wäre.

Diese Anwendungen werden nicht verboten, müssen aber, um auf dem europäischen Markt zugelassen zu werden, in einer ex-ante-Betrachtung strenge Voraussetzungen erfüllen, die in Art. 8 ff. beschrieben werden. Die dort dargestellten Anforderungen sind bereits heute Stand der Technik und sollen nach Angabe der Kommission weitgehend mit anderen internationalen Empfehlungen übereinstimmen, um Kompatibilität im internationalen Kontext sicherstellen zu können.

So müssen die Systeme auf der Grundlage von Daten entwickelt werden, die gewisse Qualitätskriterien erfüllen (Art. 10) sowie ein angemessenes Maß an Genauigkeit und Sicherheit erreichen (Art. 15). Dazu müssen ein Risikomanagementsystem (Art. 9) und eine detaillierte technische Dokumentation (Art. 11) eingerichtet sowie eine automatische Protokollierung (Art. 12) sichergestellt werden. KI-Systeme mit hohem Risiko sind zudem so zu konzipieren, dass ihre Funktionsweise hinreichend transparent ist, damit die Nutzer die Ergebnisse des Systems interpretieren und angemessen nutzen können (Art. 13), und dass sie von natürlichen Personen wirksam überwacht werden können (Art. 14).

Verstöße gegen diese Regelungen werden ebenfalls mit strengen Sanktionen belegt: Art. 71 Nr. 4 sieht Bußgelder bis zu EUR 20 Millionen oder 4 % des weltweiten Jahresumsatzes, je nachdem welcher Betrag höher ist, vor, bei Verstößen gegen Art. 10 sollen nach Art. 71 Nr. 3 lit. b sogar Bußgelder bis zu dem höheren Betrag aus EUR 30 Millionen oder 6 % des weltweiten Jahresumsatzes verhängt werden können.

Während der Verordnungsentwurf mit dem Verbot von Systemen mit unannehmbaren Risiko und der umfangreichen Regulierung von Systemen mit hohem Risiko starke Eingriffe vorsieht, sollen sonstige KI-Anwendungen, also solche mit geringem oder minimalem Risiko, nach Absicht der EU-Kommission bewusst weitestgehend unreguliert bleiben, um innovationsfreundliche Bedingungen zu schaffen.

Anwendungen im Bereich der Medizin und Gesundheitsversorgung

Jedoch gerade im Bereich der Medizin und Gesundheitsversorgung fallen KI basierte Anwendungen in die zweite Risikostufe. Denn der Entwurf ordnet den weit überwiegenden Teil der KI-Medizinprodukte in die Kategorie der „Hochrisikoprodukte“ ein.

Im Bereich der Medizin und Gesundheitsversorgung sollte jedoch eine Überregulierung vermieden werden. Im Fokus steht hier, dass der Patientenzugang zu hochinnovativen KI basierten Medizinprodukten erhalten bleibt. Immerhin bietet die neue EU Medizin Produkteverordnung (MDR) ein sehr hohes Level an Sicherheit und Qualität für Patient:innen.

Fazit

Als vorläufiges Fazit gilt daher, dass im Entwurf die Einstufung als „Hochrisiko-KI-Systeme“ zu pauschal erfolgt. Der Kontext der Anwendung der Systeme sollte stärker berücksichtigt werden. Zudem ist die Definition von Künstlicher Intelligenz in Art. 3 Nr. 1 ist zu weit gefasst. Um Marktzugangshemmnisse für Medizinproduktehersteller zu verhindern, sollte die Definition der Künstlichen Intelligenz nachgebessert bzw.  nachgeschärft werden.

Es bleibt daher abzuwarten, in welcher Form der Verordnungsentwurf das Gesetzgebungsverfahren durch das Europäische Parlament und den Rat der Europäischen Union passieren wird.

 

Autorin: Rechtsanwältin Christina Grewe