A. Einleitung

Stolz stellten Vestager und Breton am 21. April 2021 den bislang nur in englischer Sprache vorliegenden Vorschlag eines Artificial Intelligence Act^[1] (im Folgenden „AIA-Vorschlag“) der Europäischen Kommission vor.^[2] Dieser einheitliche Rechtsrahmen für Europa soll zukünftig unmittelbar in den europäischen Mitgliedstaaten gelten, also auch in Deutschland. Inhaltlich soll er – weltweit einzigartig – Innovation und Investition in europäische Unternehmen und Entwicklungen auf dem Gebiet der sog. Künstlichen Intelligenz (KI) fördern. Es wird angestrebt, Chancen und Risiken in einen ausgewogenen Ausgleich zu bringen. Der Fokus der Europäischen Kommission liegt daher auf den hochriskanten KI-Anwendungen, die zukünftig entweder strengen Regelungen oder Verboten unterliegen sollen.

Ein Dokument von 108 Seiten nebst Anhängen von 17 Seiten bewertet man nicht anhand seines Namens oder der Worte der Vorschlagenden selbst. Ein Regelwerk mit dem Fokus auf das Menschenwohl und dem erklärten Ziel der Förderung von Innovation auch im Bereich der Gesundheitsversorgung^[3] prüft man daher auf Herz und Nieren, indem es praxisnah betrachtet wird. Diese Betrachtung ist Gegenstand des nachstehenden Beitrags. Den Maßstab hierfür bildet das sog. Großväterchen^[4] der Expertensysteme: MYCIN, das in den 1970er Jahren an der Stanford University entwickelte Expertensystem zur Diagnose und Behandlung von Infektionskrankheiten.

___STEADY_PAYWALL___

B. Die Herausforderung des AIA-Vorschlags durch MYCIN

Der AIA-Vorschlag erstreckt sich ausweislich seiner Erwägungsgründe 3, 28 und 45 auch auf den Gesundheitsbereich. Er umfasst dabei nicht nur Maschinelles Lernen (im Folgenden ML), sondern auch sog. Expertensysteme als Unterfall wissensbasierter Ansätze (vgl. Buchstabe b des Anhangs I zum AIA-Vorschlag). Der Ursprung des Expertensystems liegt im Gesundheitsbereich, wie die MYCIN Experimente des Standford Heuristic Programming Project^[5] zeigen. Es liegt daher nahe, die Eignung des AIA-Vorschlags anhand des Expertensystems MYCIN zu überprüfen.

I. Das Expertensystem MYCIN

Expertensysteme wie MYCIN sind neben ML Teildisziplin der KI. Dabei wird das Wissen durch Formeln, Regeln und eine Wissensdatenbank gebündelt.^[6] Expertensysteme sind Computerprogramme, mit denen das Spezialwissen und die Schlussfolgerungsfähigkeit qualifizierter Fachleute auf eng begrenzten Aufgabengebieten nachgebildet^[7] und unterstützt^[8] werden soll.

Das MYCIN-Expertensystem, liebevoll genannt „granddaddy of expert systems“^[9], wurde in den 70er Jahren des 20. Jahrhunderts zur Verbesserung der Diagnose und Behandlung von bakteriellen Infektionen entwickelt. Sein Name ist kein Akronym, sondern das Suffix vieler antimikrobiellen Wirkstoffe.^[10] MYCIN bildet die ärztliche Diagnose und Behandlungsentscheidungsfindung in folgenden vier Schritten nach:

1. Liegt eine behandlungsbedürftige Infektion vor?
2. Was ist die Natur der Infektionsursache?
3. Welche Behandlungen kommen in Betracht?
4. Welche ist die beste Behandlung?^[11]

Die zentrale Komponente des MYCIN-Systems ist ein interaktives Computerprogramm, das Arztpersonen bei der Wahl einer geeigneten antimikrobiellen Therapie unterstützt. Diese wird auf der Grundlage von Daten aus den mikrobiologischen und klinisch-chemischen Labors sowie von direkten klinischen Beobachtungen, die eine Arztperson als Antwort auf computergenerierte Fragen eingibt, ermittelt.^[12]

Die sog. „antimikrobielle Revolution“ begann mit der Einführung der Sulfonamide in den 1930er Jahren und des Penicillins im Jahr 1943.^[13] Trotz ihrer hohen Bedeutung für die menschliche Gesundheit wurde in den 1950er Jahren deutlich, dass sog. Antibiotika nicht fachgerecht verabreicht wurden. Eine Praxisstudie^[14], an der 87 Allgemeinmediziner^[15] teilnahmen, ergab, dass 67% der Ärzte allen Patienten mit Infektionen der oberen Atemwege wahllos Antibiotika verabreichten, während nur 33% versuchten, nach viralen und bakteriellen Ursachen zu unterscheiden. Aufklärungsversuche über diese Art der unangemessenen Therapie waren nicht hinreichend, wie weitere Erhebungen belegten.^[16] Die Arbeit an MYCIN begann im Zeitpunkt breiter Aufmerksamkeit in Bezug auf die unzureichende Verabreichung von Antibiotika.^[17] Doch der Erfolg blieb aus,^[18] wohl insbesondere wegen der kritischen Betrachtung von Software durch von ihrer beruflichen Verantwortung geleitete Ärzte.^[19] Die kritische Betrachtung ist auch heute nicht grundlos, denn die Komplexität des menschlichen Organismus und biochemischer Wirkmechanismen ist wenig überschaubar geblieben.^[20]

Trotz verbleibender Unsicherheiten können Expertensysteme einen ganz erheblichen Unterstützungsbeitrag zu einer besseren Gesundheitsversorgung leisten. Doch das können sie nur, wenn sie entwickelt, beschafft und auch genutzt werden (können).^[21] Akzeptanz, um nicht zu sagen Vertrauen^[22], ist der wohl wichtigste Aspekt. Das Vertrauen in Expertensysteme will die Europäische Kommission mit ihrem AIA-Vorschlag schaffen.

II. Der generelle Ansatz des vorgeschlagenen Artificial Intelligence Act

KI-Anwendungen treffen im Bereich der Gesundheitsversorgung auf ein Gros an Problemen.^[23] Der vorgeschlagene Artificial Intelligence Act geht allerdings im Wesentlichen nur auf die Frage und die Folgen des Erlaubt- oder Verbotenseins einer KI-Anwendung ein.

1. Was ist „KI“ i.S.d. Artificial Intelligence Act?

Die Europäische Kommission hat „KI“ nicht definiert, wie es z.B. die sog. hochrangige Expertengruppe für Künstliche Intelligenz (High-Level Expert Group on AI, HLEG^[24]) zunächst angeregt hat. Diese definierte „Künstliche Intelligenz“ in ihrem ersten Richtlinien-Entwurf wie folgt:

“Artificial intelligence (AI) refers to systems designed by humans that, given a complex goal, act in the physical or digital world by perceiving their environment, interpreting the collected structured or unstructured data, reasoning on the knowledge derived from this data and deciding the best action(s) to take (according to pre-defined parameters) to achieve the given goal. AI systems can also be designed to learn to adapt their behaviour by analysing how the environment is affected by their previous actions.”^[25]

Übersetzt:

Künstliche Intelligenz (KI) bezieht sich auf von Menschen geschaffene Systeme, die angesichts eines komplexen Ziels in der physischen oder digitalen Welt agieren, indem sie ihre Umgebung wahrnehmen, die gesammelten strukturierten oder unstrukturierten Daten interpretieren, über das aus diesen Daten abgeleitete Wissen schlussfolgern und die beste(n) Aktion(en) (gemäß vordefinierten Parametern) zur Erreichung des vorgegebenen Ziels entscheiden. KI-Systeme können auch so konzipiert werden, dass sie lernen, ihr Verhalten anzupassen, indem sie analysieren, wie die Umgebung durch ihre vorherigen Aktionen beeinflusst wird.

Die Anlehnung an menschliche Eigenschaften und menschliches Verhalten wurde als problematisch kritisiert.^[26]

In dem auch in deutscher Sprache verfügbaren Papier „Eine Definition der KI: Wichtigste Fähigkeiten und Wissensgebiete“^[27] nahm die HLEG Abstand von ihrem ursprünglichen Definitionsansatz und sprach nur noch von „Systemen der künstlichen Intelligenz“:

„Systeme der künstlichen Intelligenz (KI-Systeme) sind vom Menschen entwickelte Softwaresysteme (und gegebenenfalls auch Hardwaresysteme)³, die in Bezug auf ein komplexes Ziel auf physischer oder digitaler Ebene handeln, indem sie ihre Umgebung durch Datenerfassung wahrnehmen, die gesammelten strukturierten oder unstrukturierten Daten interpretieren, Schlussfolgerungen daraus ziehen oder die aus diesen Daten abgeleiteten Informationen verarbeiten, und über das bestmögliche Handeln zur Erreichung des vorgegebenen Ziels entscheiden. KI-Systeme können entweder symbolische Regeln verwenden oder ein numerisches Modell erlernen, und sind auch in der Lage, die Auswirkungen ihrer früheren Handlungen auf die Umgebung zu analysieren und ihr Verhalten entsprechend anzupassen.“ ^[28]

Ungeachtet der unveränderten Anlehnung an menschliches Denken und Verhalten wies die HLEG darauf hin, dass „Künstliche Intelligenz“ v.a. eine wissenschaftliche Disziplin ist.^[29]

Die Europäische Kommission hat, ausgehend von der wissenschaftlichen Disziplin, keine Definition von „künstlicher Intelligenz“ vorgenommen. Sie definiert in Art. 3 (1) des AIA-Vorschlags den Begriff „artificial intelligence system (AI system)“ wie folgt:

„‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;“

Übersetzt:

„System künstlicher Intelligenz“ (KI-System) ist Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und für eine gegebene Menge von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren;

Anhang I weist folgende Techniken und Ansätze der KI („AI techniques and approaches“) aus:

(a) Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;

(b) Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;

(c) Statistical approaches, Bayesian estimation, search and optimization methods.

Übersetzt:

(a) Ansätze des maschinellen Lernens, einschließlich überwachtem, unüberwachtem und verstärktem Lernen, unter Verwendung einer Vielzahl von Methoden, einschließlich Deep Learning;

(b) Logik- und wissensbasierte Ansätze, einschließlich Wissensrepräsentation, induktive (logische) Programmierung, Wissensbasen, Inferenz- und Deduktionsmaschinen, (symbolisches) Schlussfolgern und Expertensysteme;

(c) Statistische Ansätze, Bayes‘sche Schätzung, Such- und Optimierungsmethoden.

2. Erste Einschätzung der Definition des AIA-Vorschlags

Die Europäische Kommission hat einen smarten Ansatz gewählt, indem sie sich für den Begriff des KI-Systems entschieden hat, der wiederum auf Verfahren bzw. Ansätzen der wissenschaftlichen Disziplin Künstliche Intelligenz^[30], einem interdisziplinären Teilgebiet der Informatik,^[31] aufsetzt. Das Ziel Künstlicher Intelligenz ist es, statt der Vorgabe eines Algorithmus (Lösungswegs) die Lösungsfindung dem Computer selbst zu überlassen,^[32] sinngemäß menschliches Lernen nachzubilden. ML ist das wohl bekannteste Teilgebiet der Künstlichen Intelligenz,^[33] aber eben nicht das einzige, wie die korrekte Nennung von Expertensystemen in Buchstabe b des Anhangs I des AIA-Vorschlags zeigt.

Nachstehend wird anhand des Expertensystems MYCIN untersucht, welche Folgen die Definition und Vorgaben des AIA-Vorschlags für vergleichbare Expertensysteme und v.a. für die Verwendenden haben können.

III.  Fällt MYCIN in den Anwendungsbereich?

1. MYCIN ist wohl kein KI-System i.S.d. AIA-Vorschlags

Noch einmal sei die (nicht offizielle Übersetzung der) Definition der Europäischen Kommission in Art. 3 (1) AIA-Vorschlag ins Gedächtnis gerufen:

Ein „System künstlicher Intelligenz“ (KI-System) ist

1. Software, die
2. mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und
3. für eine gegebene Menge von durch den Menschen definierten Zielen
4. Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann,
5. die die Umgebungen beeinflussen,
6. mit denen sie interagieren.

Unklar ist, ob sich die fünfte und sechste Voraussetzung ausschließlich auf die Entscheidungen („decisions“) beziehen sollen. Dagegen spricht, dass Empfehlungen („recommendations“) auch Entscheidungen sind und wahrscheinlichkeitsbasierte Vorhersagen („predicitions“) entscheidungsgleich die Umwelt beeinflussen können. Hier ist insbesondere auf sog. autonomes Fahren auf der Grundlage von Verhaltensvorhersagen („behaviour predictions“) zu verweisen.^[34] Auch die Ausgabe von Inhalten kann einen die Umgebung beeinflussenden Prozess in Gang setzen. Man denke nur an die Uhrzeit oder die Information „Zahlung eingegangen“. Nicht zuletzt lässt die Syntax der Originalfassung den Schluss zu, dass sich „influencing the environments” (5.) “they interact with” (6.) auf alle aufgezählten “outputs” (4.) bezieht. Auch “decisions” sind nach der Definition “outputs”.

Expertensysteme im Allgemeinen wie auch das MYCIN im Besonderen erfüllen regelmäßig nahezu alle vorgenannten Kriterien:

1. Ein Expertensystem wie MYCIN ist ein Computerprogramm und damit eine Software.
2. Ein Expertensystem wie MYCIN basiert auf einem wissensbasierten Ansatz des Anhang I, dort Buchstabe b und wird explizit benannt.
3. Ein Expertensystem wie MYCIN hat vom Menschen in der Zahl begrenzt definierte Ziele der Diagnose und Behandlung von Infektionskrankheiten.
4. Ein Expertensystem wie MYCIN erzeugt Behandlungsempfehlungen für Arztpersonen.
5. (?)
6. Ein Expertensystem wie MYCIN ist interaktiv, d.h. die Voraussetzung einer Interaktion ist gegeben.

Die Frage ist jedoch, „beeinflusst“ die Ausgabe eines Expertensystems wie MYCIN die Umgebung i.S.d. fünften Voraussetzung? Eine Arztperson gehört zur Umgebung; aus dieser Ungenauigkeit entsteht kein wesentliches Problem. Doch wenn Ärzte schon im 20. Jahrhundert von der Nutzung von MYCIN – gemäß berechtigter Zweifel – absehen konnten, kann das Expertensystem diese im 21. Jahrhundert ebenso wenig direkt beeinflussen. Ärztinnen und Ärzte müssen sogar, ihrem Gelöbnis^[35] gemäß, aufgrund der Komplexität und dadurch eingeschränkten Überschaubarkeit des menschlichen Organismus und biochemischer Wirkmechanismen^[36] unbeeinflusst bleiben. Besonders dann, wenn das Ergebnis einer Software dem medizinischen Wissen der Arztperson widerspricht. Denn dieses ist dem Gelöbnis gemäß zum Wohle der Patientin oder des Patienten und zur Verbesserung der Gesundheitsversorgung zu teilen. Nicht jedoch eine computergenerierte Empfehlung.

2. Die Definition des KI-Systems ist korrekturbedürftig

Die Definition der Europäischen Kommission weist hier also deutliche Schwächen auf. Wenn die direkte Beeinflussung der Umgebung Voraussetzung für ein Expertensystem im Sinne des Anhangs I ist, um unter die vorgeschlagene AIA-Verordnung zu fallen, dann fallen Expertensystem wie MYCIN nicht darunter. Die derzeitige Fassung lässt den Schluss zu. Hier muss das Europäische Parlament nachbessern (lassen). Es gilt stets zu berücksichtigen, dass Menschen, als intelligente und zum eigenständigen Denken fähige Wesen, nur in wenigen Fällen genau das ausführen, was eine Maschine oder Software ihnen vorgibt. So geschieht es auch regelmäßig, dass Menschen (ohne besondere Qualifikationen) Empfehlungen von sachverständigen Personen oder rechtskräftige Entscheidungen z.B. von Richterpersonen ignorieren. Mithin versagt auch im Bereich der menschlichen Intelligenz das Kriterium der Umgebungsbeeinflussung.

In Betracht kommen daher zwei Lösungsansätze:

a)  Anpassung der Definition

Durch folgende inhaltliche Anpassung wird zumindest deutlich, dass es KI-Systeme gibt, welche auch Menschen als Teil der Umgebung beeinflussen können, aber dass nicht alle KI-Systeme dazu befähigt sind:

„System künstlicher Intelligenz“ (KI-System) ist Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und für eine gegebene Menge von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die auch die Menschen in ihren Umgebungen beeinflussen können, mit denen sie interagieren;

b)  Streichung der fünften und sechsten Voraussetzung

Vorzugswürdig ist jedoch die Streichung der Voraussetzungen der Umgebungsbeeinflussung und Interaktion:

„System künstlicher Intelligenz“ (KI-System) ist Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Ansätze entwickelt wurde und für eine gegebene Menge von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren;

Der Zusatz der Interaktion ist nicht notwendig, er ist v.a. ungenau. Jedes Computerprogramm, d.h. jede Software, interagiert mit der Umgebung, nämlich mit der Hardware. Hardware (mit Strom- und Internetzugang) ist die Voraussetzung, dass Software überhaupt implementiert und genutzt werden kann. Interaktion ist auch Beeinflussung. Ein Roboterarm ist Hardware und zugleich Umgebung der ihn bewegenden, d.h. beeinflussenden Software. Die seiner Bewegung zugrunde liegenden „Entscheidungen“ können allerdings auch auf einfachen Algorithmen, d.h. menschengemachten Handlungsanweisungen an den Computer beruhen. Taugliche Unterscheidungskriterien bieten die beiden Voraussetzungen also nicht.

Was also macht ein KI-System im Sinne des AIA-Vorschlags zum KI-System? Ausschließlich die KI-Teildisziplin, auf der es beruht. Das hat die Europäische Kommission lobenswert herausgearbeitet. Die Verwirrung durch die Zusätze der Umgebungsbeeinflussung und Interaktion ist daher verzichtbar.

Für die Streichung spricht nicht zuletzt der Umstand, dass sachgerechte Informationen seitens der Herstellerin oder Verwendenden sowie eine breite Aufklärung über die Chancen und Risiken von KI-Anwendungen immer geeignet sein müssen, den nutzenden, verständigen heutigen Menschen (vgl. „homo sapiens sapiens“^[37]) – auch ohne Fachwissen – zu einer eigenständigen, kritischen Entscheidung zu befähigen. „Vertrauen“^[38] darf (korrekte) Information nicht obsolet machen.

Beim vorstehenden Vorschlag der Streichung wurde nicht unberücksichtigt gelassen, dass sich die Europäische Kommission auf KI-Systeme von hohem Risiko fokussieren will, die entweder strengen Vorgaben oder Verboten unterliegen sollen. Dennoch gehört die Möglichkeit der direkten Beeinflussung zur Risikoklassifizierung, nicht zur (technischen) Definition eines KI-Systems. Art. 5 (1) AIA-Vorschlag lässt erkennen, dass dieser Gedanke der Europäischen Kommission nicht fern ist.

IV. Verbotenes oder nur hochriskantes KI-System MYCIN?

Oben wurde festgestellt, dass MYCIN wohl nicht unter den AIA-Vorschlag fällt, mithin gar nicht erst in die Prüfung der Risikoklasse gelangen würde. Dies entspricht jedoch nicht der Intention der Europäischen Kommission, vgl. Erwägungsgrund 3^[39] und die Inbezugnahme der Medizinprodukteverordnung (Verordnung (EU) 2017/745, im Folgenden MDR) sowie Vorgänger in Anhang II, Nr. 11. Daher wird nachstehend, unter Berücksichtigung der befürworteten Streichung, das Expertensystem MYCIN als KI-System im Sinne des AIA-Vorschlags behandelt.

1. Wäre MYCIN nach dem AIA-Vorschlag verboten?

a) Die Verbotsregelung

Art. 5 (1) AIA-Vorschlag verbietet keine KI-Systeme, sondern „artificial intelligence practices“, mithin „Praktiken“ und Einsatzzwecke von KI-Systemen.

Art. 5 (1) AIA-Vorschlag verbietet

(a) the placing on the market, putting into service or use of an AI system that deploys subliminal techniques beyond a person’s consciousness in order to materially distort a person’s behaviour in a manner that causes or is likely to cause that person or another person physical or psychological harm;

(b) the placing on the market, putting into service or use of an AI system that exploits any of the vulnerabilities of a specific group of persons due to their age, physical or mental disability, in order to materially distort the behaviour of a person pertaining to that group in a manner that causes or is likely to cause that person or another person physical or psychological harm;

Übersetzt:

(a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken außerhalb des Bewusstseins einer Person einsetzt, um das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann;

(b) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Schwachstelle einer bestimmten Personengruppe aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzt, um das Verhalten einer Person, die zu dieser Gruppe gehört, in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person körperlichen oder psychischen Schaden zufügt oder zufügen kann;

b)  Prüfung der Verbotsvoraussetzungen

Es stellt sich zunächst die Frage, was die Europäische Kommission in Art. 5 (1) lit. (a) AIA-Vorschlag mit „unterschwelligen Techniken außerhalb des Bewusstseins“ meint:

„Techniken“ sind unter Verweis auf Art. 3 (1) AIA-Vorschlag solche des Anhangs I.

Nach Erwägungsgrund 16 sind solche Techniken „unterschwellig“, die vom menschlichen Individuum nicht wahrgenommen werden (können). Das umfasst im Allgemeinen sämtliche Vorgänge „unter“ der Benutzeroberfläche einer Software. Diese können regelmäßig nur Techniker bzw. Informatiker verstehen. Das macht eine Technik jedoch noch nicht „unterschwellig“ im Sinne des von der Europäischen Kommission gemeinten Missbrauchs. Diese Intention wird deutlich in Gesamtlese mit Erwägungsgrund 15, der darauf hinweist, dass die „vielen nützlichen Anwendungen von künstlicher Intelligenz“ „auch missbraucht werden“ „und neue und mächtige Werkzeuge für manipulative, ausbeuterische und soziale Kontrollpraktiken bereitstellen“ können.

Unter Verweis auf die Forschung zum menschlichen „Bewusstsein“ ist unklar, wovon die Europäische Kommission bei der Voraussetzung „außerhalb des Bewusstseins“ spricht. Nach der Theorie der integrierten Information (Integrated Information Theory, IIT) ist Bewusstsein das Erlebte^[40], also das Wahrgenommene. Folgt man diesem wissenschaftlichen Verständnis von Bewusstsein, so wird jedes KI-System, mit dem der Mensch interagiert, als Teil des Erlebten zum Teil seines Bewusstseins. Nur eben nicht in aller Vollständigkeit, denn die Techniken des KI-Systems sind im Allgemeinen nicht wahrnehmbar. Das Erlebte ist schlussendlich nur ein intrinsisches^[41], individuelles Abbild, nicht jedoch die Software-Technik selbst. Ungeachtet der Hirnforschung und philosophischen Ansätze bleiben Techniken im Sinne des Anhangs I beim Menschen regelmäßig „außerhalb des (menschlichen) Bewusstseins“.^[42] Die Voraussetzung der unterschwelligen Techniken „außerhalb des Bewusstseins“ lässt in ihrer Unbestimmtheit allerdings keinen Missbrauchscharakter als Verbotsgrund feststellen.

Das KI-System soll nach Erwägungsgrund 16 die Absicht („They do so with the intention“) haben, das Verhalten einer Person „wesentlich zu beeinflussen“. „Wesentlich beeinflusstes Verhalten“ dürfte als jede Verhaltensänderung zu verstehen sein. Die Absicht darf jedoch, so heißt es weiter in Erwägungsgrund 16, nicht unterstellt werden, „wenn die Beeinflussung des menschlichen Verhaltens aus Faktoren resultiert, die außerhalb des KI-Systems liegen und auf die der Anbietende oder der Verwendende keinen Einfluss hat“. Was die Europäische Kommission hier meinen könnte, bleibt im Dunklen. Software hat – auch nach der Definition der Europäischen Kommission in Art. 3 (1) AIA-Vorschlag – keinen eigenen Willen. Software formuliert hiernach ihre Ziele nicht selbst und wird auch keine Absicht im Sinne eines zielgerichteten Willens bilden können, etwa einen Ausnutzungswillen im Sinne von Art. 5 (1) lit. (b) AIA-Vorschlag. Einen solchen Willen kann allenfalls diejenige Person bilden, die das Ziel des KI-Systems zu ihren missbräuchlichen Zwecken festgelegt hat oder es ihren Zwecken gemäß, ggf. unter Missbrauch eines KI-Systems, gegenüber Personen verwendet. Die Europäische Kommission hat das grundsätzlich erkannt, denn Art. 5 (1) AIA-Vorschlag spricht von verbotenen Praktiken, nicht verbotenen KI-Systemen. Allerdings ist der AIA-Vorschlag, insbesondere Art. 5 (1) lit. (a) und (b) AIA-Vorschlag, weder sprachlich noch inhaltlich konsistent. Ein Missbrauchscharakter ergibt sich nicht aus der Verbotsvorschrift selbst.

Die Verbote des Art. 5 (1) lit. (a) und (b) AIA-Vorschlag sind daher nicht praxistauglich. Dies zeigt sich auch am MYCIN:

c)  MYCIN wäre wahrscheinlich verboten

Das Expertensystem MYCIN sollte eine Verhaltensänderung bzw. -anpassung („wesentliche Beeinflussung des Verhaltens“) bewirken. Seine Entwicklung hatte zum Ziel („Absicht“), Gesundheitsgefahren durch unsachgemäße Verabreichung von Antibiotika zu verhindern.^[43] Es sollte auch den individuellen Erwerb von umfassendem medizinischen und mikrobiologischen bzw. biochemischen Wissen obsolet machen. D.h. sehr viel Wissen war für die ärztlichen Anwendenden von MYCIN nicht sichtbar („unterschwellig“, „außerhalb des Bewusstseins“) und die vom Programm hergestellten Zusammenhänge nicht allesamt verständlich („unterschwellige Techniken“). Ist ein Expertensystem wie MYCIN, ungeachtet der Tatsache, dass sich eine Arztperson aus Gründen ihres Gelöbnisses nicht von einem Expertensystem übertölpeln lassen darf, nun wegen Art. 5 (1) lit. (a) AIA-Vorschlag zu verbieten?

Beachtet man den in den Erwägungsgründen 15 und 16 geäußerten Willen der Europäischen Kommission, (nur) missbräuchliche KI-Nutzung verbieten zu wollen, dann ist die Antwort auf die Frage „Nein“. Doch ausweislich Art. 5 (1) lit. (a) und (b) AIA-Vorschlag ist das Hauptziel der Vorschrift die Verhinderung von körperlichem oder psychischem Schaden von Personen:

Denkbar ist immer, dass eine Gesundheitsgefahr durch das ärztliche Verlassen auf ein solches Expertensystem entstehen kann. Schließlich ist die Komplexität des menschlichen Organismus und biochemischer Wirkmechanismen Grund für eine auch heute noch bestehende Unüberschaubarkeit medizinischen (Nicht-)Wissens.^[44] Stellt ein Expertensystem wie MYCIN fehlerhaft Zusammenhänge her oder fehlen wesentliche Informationen für eine sachgerechte Empfehlungsgrundlage und gibt es in der Folge fehlerhafte Empfehlungen aus, wird diese Ausgabe stets dem vom Menschen im Vorhinein festgelegten (redlichen) Ziel und damit (s)einer Absicht entsprechen. Dennoch kann eine rechnerisch richtige eine fehlerhafte Empfehlung sein, die, von der Arztperson in ihre Diagnose- und Behandlungsentscheidung übernommen, zu körperlichen Schäden einer anderen Person, mithin der Patientin oder des Patienten führen kann. Die Fehlentscheidung oder das Unterlassen von weiteren Nachforschungen kann wiederum zu psychischen Beeinträchtigungen der Arztperson selbst führen, z.B. weil sie infolge eines Schocks als Reaktion auf Kenntnis des Patientenschadens nicht mehr arbeitsfähig ist.

Vom Ziel der Verhinderung von körperlichem oder psychischem Schaden aus betrachtet wäre ein Expertensystem wie MYCIN also zu verbieten. Auch wenn sein vorbestimmtes Ziel die Verhinderung von körperlichen Schäden sein mag. Dem Willen der Europäischen Kommission entspricht ein Verbot jedoch nicht, weil sie die trotz Risiken innewohnenden KI-Chancen gerade im Gesundheitsbereich nutzbar machen möchte.^[45] Expertensysteme wie MYCIN dürften daher eher als (akzeptabel) hochriskante KI-Systeme anzusehen sein, weshalb die Verbotsregelung des Art. 5 (1) AIA-Vorschlag dringender Überarbeitung bedarf.

2. MYCIN als hochriskantes KI-System

Nach vorstehendem Risikoprofil kann ein Expertensystem wie MYCIN kein KI-System von geringem Risiko sein, welches lediglich Transparenzverpflichtungen nach Art. 52 AIA-Vorschlag auslösen soll. Ein Verbot scheint die Europäische Kommission nicht zu wollen. Es bleibt also nur die Einstufung als hochriskantes KI-System.

a)  Klassifizierung als hochriskantes KI-System

Dies wird durch Art. 6 (1) AIA-Vorschlag bestätigt. Nach Art. 6 (1) AIA-Vorschlag gilt Folgendes:

“Irrespective of whether an AI system is placed on the market or put into service independently from the products referred to in points (a) and (b), that AI system shall be considered high-risk where both of the following conditions are fulfilled:

(a) the AI system is intended to be used as a safety component of a product, or is itself a product, covered by the Union harmonisation legislation listed in Annex II;

(b) the product whose safety component is the AI system, or the AI system itself as a product, is required to undergo a third-party conformity assessment with a view to the placing on the market or putting into service of that product pursuant to the Union harmonisation legislation listed in Annex II.”

Übersetzt:

Ungeachtet des Umstands, ob ein KI-System unabhängig von den unter den Buchstaben a und b genannten Produkten in Verkehr gebracht oder in Betrieb genommen wird, gilt dieses AI-System als mit hohem Risiko behaftet, wenn beide der folgenden Bedingungen erfüllt sind:

(a) Das KI-System ist dazu bestimmt, als Sicherheitsbauteil eines Produkts verwendet zu werden, oder ist selbst ein Produkt, das unter die in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union fällt;

(b) das Produkt, dessen Sicherheitsbauteil das KI-System ist, oder das KI-System selbst als Produkt muss im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts einer Konformitätsbewertung durch einen Dritten gemäß den in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Weil die ab 26. Mai 2021 geltende MDR und ihre Vorgänger unter Nr. 11 des Anhangs II geführt werden, gilt also ein Expertensystem, welches Medizinprodukt im Sinne derer Vorschriften ist, stets als mit hohem Risiko behaftet. Medizinprodukt kann ausweislich Art. 2 (1) MDR eine Software sein. Diese muss der Herstellerin zufolge für Menschen bestimmt sein und allein oder in Kombination einen oder mehrere spezifische medizinische Zwecke erfüllen, z.B. die Diagnose, Verhütung, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten.

b)  Was bedeutet das für ein Expertensystem wie MYCIN?

Bei KI-Systemen mit hohem Risiko, die mit harmonisierten, im Amtsblatt der Europäischen Union veröffentlichten Normen wie jenen der MDR im Einklang stehen, wird gemäß Art. 40 AIA-Vorschlag eine Konformität mit den Anforderungen an das hochriskante KI-System (Kapitel 2) selbst vermutet, soweit jene Normen diese Anforderungen abdecken. Dieses Spannungsfeld zwischen den Normen muss jedoch einem weiteren Artikel vorbehalten bleiben.

aa)  Zusammenfassung der Anforderungen an das Expertensystem selbst (Kapitel 2 AIA-Vorschlag)

Nach Art. 9 AIA-Vorschlag muss ein Risikomanagementsystem eingerichtet, umgesetzt, dokumentiert und aufrechterhalten werden, welches über den gesamten Produktlebenszyklus aktuell zu halten ist.

Nach Art. 11 AIA-Vorschlag ist die technische Dokumentation des KI-Systems vor dem Inverkehrbringen zu erstellen und aktuell zu halten. Die technischen Unterlagen sind so zu erstellen, dass sie nachweisen, dass das KI-System die Anforderungen dieses Kapitels erfüllt.

KI-Systeme mit hohem Risiko müssen gemäß Art. 12 AIA-Vorschlag so konzipiert und entwickelt werden, dass sie die automatische Aufzeichnung von Ereignissen („Logs“) ermöglichen, während das KI-System in Betrieb ist. Diese Protokollierungsfunktionen müssen anerkannten Normen oder gemeinsamen Spezifikationen entsprechen. Die Protokollierungsfunktionen müssen dabei ein Maß an Rückverfolgbarkeit der Funktionsweise des KI-Systems während seines gesamten Lebenszyklus gewährleisten, das dem beabsichtigten Zweck des Systems angemessen ist.

Die Verwendenden sind nach Art. 13 AIA-Vorschlag zu informieren. Dies zum einen durch ein transparent konzipiertes KI-System. Die Verwendenden sollen die Ergebnisse des Systems interpretieren und angemessen nutzen können. Außerdem sind Gebrauchsanweisungen in einem geeigneten digitalen Format oder auf andere Weise beizufügen, die prägnante, vollständige, korrekte und klare Informationen enthalten, die für die Verwendenden relevant, zugänglich und verständlich sind.

Nach Art. 14 AIA-Vorschlag sind KI-Systeme so zu konzipieren und zu entwickeln, auch mit geeigneten Mitteln an der Mensch-Maschine-Schnittstelle, dass sie während des Betriebszeitraums von natürlichen Personen wirksam beaufsichtigt werden können. Die menschliche Aufsicht zielt darauf ab, die Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu verhindern oder auf ein Mindestmaß zu reduzieren, die entstehen können, wenn ein KI-System bestimmungsgemäß oder unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs verwendet wird.

Nach Art. 15 AIA-Vorschlag sind KI-Systeme so zu konzipieren und zu entwickeln, dass sie im Hinblick auf ihren Verwendungszweck ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen, und dies über den gesamten Produktlebenszyklus hinweg.

bb)  Zusammenfassung der Anforderungen an die Anbieter^[46] bzw. Entwicklungspersonen

„Anbieter“ ist nach Art. 3 (2) AIA-Vorschlag eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter eigenem Namen oder eigener Marke entgeltlich oder unentgeltlich in Verkehr zu bringen oder in Betrieb zu nehmen.

Der Anbieter muss nach Art. 16 AIA-Vorschlag neben der Sicherstellung der Einhaltung der Anforderungen an das KI-System ein Qualitätsmanagementsystem gemäß Art. 17 AIA-Vorschlag einrichten. Werden die Anforderungen nicht eingehalten, ist der Anbieter zur Abhilfe (Art. 21 AIA-Vorschlag) und Unterrichtung der zuständigen Behörden (Art. 22 AIA-Vorschlag) verpflichtet. Der Anbieter hat die technische Dokumentation (Art. 18 AIA-Vorschlag) zu erstellen und, soweit das KI-System unter seiner Kontrolle ist, dessen automatisch erzeugten Protokolle aufzubewahren (Art. 20 AIA-Vorschlag). Der Anbieter hat außerdem vor Inverkehrbringen bzw. Inbetriebnahme ein Konformitätsbewertungsverfahren (Art. 19 AIA-Vorschlag) einzuleiten und Registrierungspflichten nach Art. 51 AIA-Vorschlag nachzukommen. Die Konformität ist vom Anbieter auf Verlangen der Behörden nachzuweisen (Art. 23 AIA-Vorschlag). Die CE-Kennzeichnung ist vom Anbieter „am“ KI-System anzubringen, um die Konformität mit dieser Verordnung gemäß Art. 49 anzuzeigen. Der Anbieter ist nicht zuletzt nach Art. 62 AIA-Vorschlag verpflichtet, den Marktüberwachungsbehörden des Mitgliedstaats, in dem der Vorfall oder die Verletzung aufgetreten ist, jeden schwerwiegenden Vorfall oder jede Funktionsstörung dieser Systeme, die einen Verstoß gegen die Verpflichtungen aus dem Unionsrecht zum Schutz der Grundrechte darstellt, zu melden.

Was schwerwiegende Vorfälle sind, ergibt sich aus Art. 3 (44) AIA-Vorschlag. Danach liegen schwerwiegende Vorfälle nur in Verbindung mit dem Tod oder einem schweren Gesundheitsschaden einer Person bzw. einer ernsthaften und irreversiblen Störung der Verwaltung und des Betriebs kritischer Infrastrukturen vor. Was ein schwerer Gesundheitsschaden ist, bleibt jedoch unklar. Unter Funktionsstörungen fallen zudem keine inhaltlichen Ungenauigkeiten oder Unrichtigkeiten, die ein inhaltlich aber eben nicht technisch fehlerhaftes Ergebnis sowie nicht-schwere Gesundheitsschäden bedeuten können. Wann und wie die Schwelle zum unzureichend bestimmten Verbot nach Art. 5 (1) AIA-Vorschlag^[47] überschritten wird, muss das Europäische Parlament klären lassen.

cc)  Zusammenfassung der Anforderungen des Art. 29 AIA-Vorschlags gerichtet an die Verwendenden

„Verwendender“ ist jede natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System unter ihrer Aufsicht verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen, nicht beruflichen Tätigkeit genutzt. Aus diesem Grund wird nicht von „Nutzerinnen und Nutzern“ gesprochen, um die Verwirrung gering zu halten. Verwendende sind ausschließlich Fachanwendende, d.h. auch Arztpersonen.

Verwendende von KI-Systemen mit hohem Risiko müssen diese gemäß den beigefügten Gebrauchsanweisungen verwenden. Verwendende müssen, soweit sie die Kontrolle über die Eingabedaten ausüben, sicherstellen, dass die Eingabedaten im Hinblick auf den beabsichtigten Zweck des KI-Systems relevant sind. Verwendende überwachen den Betrieb des KI-Systems auf der Grundlage der Gebrauchsanweisung. Haben sie Grund zu der Annahme, dass die Verwendung gemäß der Gebrauchsanweisung dazu führen kann, dass das KI-System ein Risiko auf nationaler Ebene (Art. 65 AIA-Vorschlag) darstellt, so informieren sie die Anbieter oder Händler und unterbrechen die Verwendung des Systems. Sie unterrichten die Anbieter oder Händler auch, wenn sie einen schwerwiegenden Vorfall oder eine Funktionsstörung im Sinne von Art. 62 AIA-Vorschlag festgestellt haben, und unterbrechen die Nutzung des KI-Systems. Die für Anbieter benannten Rechtsunsicherheiten treffen also auch die Verwendenden. Verwendende bewahren die automatisch erstellten Protokolle auf, soweit diese unter ihrer Kontrolle stehen.

Verwendende von KI-Systemen mit hohem Risiko müssen die bereitgestellten Informationen nach Art. 13 AIA-Vorschlag nutzen, um ihrer Verpflichtung zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Art. 35 Datenschutz-Grundverordnung (DSGVO) oder, im Falle von verwendenden Behörden, Art. 27 Justiz/Inneres-Richtlinie (JI-Richtlinie (EU) 2016/680) nachzukommen, sofern diese anwendbar sind. Im Falle der Verwendung eines klassischen Expertensystems wie MYCIN scheidet eine Anwendung jedoch aus, weil nur Fachinhalte und keine personenbezogenen Daten verarbeitet werden (vgl. Art. 2 Abs. 1 DSGVO).

C. Fazit

Der AIA-Vorschlag soll eine Vielzahl von KI-Anwendungsfällen abdecken und Rechtssicherheit schaffen. Ein 50 Jahre altes, in den USA entwickeltes Expertensystem namens MYCIN zeigt jedoch erhebliche Schwächen des Verordnungsentwurfs auf. Es ist zu vermuten, dass reale Anwendungen zur Überprüfung des AIA-Vorschlags nicht herangezogen worden sind. Das zeigt sich bspw. auch bei der undifferenzierten Bewertung von sog. Deepfakes als risikoarm. Deepfakes können Wahlentscheidungen, Wahlen und damit Grundrechte und demokratische Grundwerte nachteilig beeinflussen.^[48] Deepfakes können als sog. Deepfake Porn auftreten, mit dem Frauen zielgerichtet persönlicher, vor allem ein lebenslanger Imageschaden zugefügt werden soll.^[49] In Großbritannien wird erwägt, einen weiteren Straftatbestand zu schaffen, weil das Gesetz mit den neuen technisch möglichen Missbrauchspraktiken nicht Schritt halten kann.^[50] Warum solche Deepfakes stets risikoarm sein und nach Art. 52 (3) AIA-Entwurf lediglich den Hinweis auf die Manipulation enthalten sollen, ist nicht nachvollziehbar.

Das Europäische Parlament muss Nachbesserung veranlassen. Auch Algorithmwatch hat Schwächen ausgemacht und Nachbesserung gefordert.^[51] Als positiv und beibehaltenswert herauszuheben ist jedoch der Ansatz der Europäischen Kommission, „eine KI“ nicht zu definieren, sondern ein „KI-System“ an der angewandten Disziplin des Teilgebiets der Informatik „Künstliche Intelligenz“ festzumachen. Erfreulich ist natürlich auch das explizite Verbot von Social Scoring, wobei hier zu klären bleibt, warum Social Scoring durch Private in Art. 5 (1) lit. (c) AIA-Vorschlag ungeregelt geblieben ist.

Die zukünftige Verordnung sollte sich mehr an der Gegenwart und weniger an möglichen Zukunftsgefahren aus Filmen wie ANON (2018) orientieren, in denen sich die meisten Menschen der umfassenden digitalen Überwachung nicht mehr entziehen können. Dadurch geht der Blick für die realen Gefahren verloren und Gefahren werden dort verortet, wo eigentlich keine ein Verbot rechtfertigenden Gefahren sind. Das gilt insbesondere für ein Expertensystem wie MYCIN, welches eine Arztperson unterstützen, aber nicht von der fachgerechten Ausübung ihres Berufs abhalten darf, soll und kann. Nach dem AIA-Vorschlag wäre es entweder gar nicht erfasst oder sogar verboten. Eindeutig ist es nicht feststellbar, weil die Verbotsnorm des Art. 5 (1) lit. (a) und (b) AIA-Vorschlag den ein Verbot rechtfertigenden Missbrauchscharakter nicht zu fassen vermag. Überhaupt ist unklar, was die Europäische Kommission hier zu verbieten versucht.

Nicht zuletzt sollte berücksichtigt werden, dass der Geltungsbeginn der MDR um ein Jahr auf den 26. Mai 2021 verschoben wurde, weil die hohen Anforderungen der komplexen Verordnung (noch) nicht erfüllbar waren.^[52] Auch in 2021 werden die hohen Anforderungen beklagt; die Verschiebung des Geltungsbeginns hat nicht für Entlastung gesorgt.^[53] 75% befragter Unternehmen beklagen darüber hinaus unklare Vorgaben seitens der EU-Kommission und 50% benötigen mehr fachliche Unterstützung.^[54] Zudem besteht das Problem der unzureichenden Digitalisierung in der Breite – 46% nutzen noch immer Papier für klinische Datenerhebungen.^[55] Die EU hat schon bei der MDR nicht berücksichtigt, dass Digitalisierung nicht einfach vorausgesetzt oder vorgeschrieben werden kann, sondern ein langwieriger Veränderungs-Prozess ist, der sich zudem von Mitgliedstaat zu Mitgliedstaat stark unterscheiden kann. Die AIA-Verordnung, so sie kommen sollte, wird schon aufgrund ihrer unzureichenden Regelungsklarheit aller Voraussicht nach für lange Zeit impraktikabel bleiben.

V

V

^[1]  Proposal for a Regulation Of The European Parliament And Of The Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts, 2021/0106 (COD), abrufbar unter https://ec.europa.eu/transparency/regdoc/rep/1/2021/EN/COM-2021-206-F1-EN-MAIN-PART-1.PDF (abgerufen am 26. April 2021).

^[2]  Vgl. den Bericht zur Pressekonferenz vom 22. April 2021, Otto, Ri 2021, 9 f.

^[3]  Vgl. „E-Health” als einziges Anwendungsgebiet unter „Related Topic” auf https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence-artificial-intelligence (abgerufen am 26. April 2021).

^[4]  “Granddaddy”, Newell in Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Foreword, S. xi f.; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[5]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[6]  Bosch, Die Geschichte der Künstlichen Intelligenz, https://www.bosch.com/de/stories/geschichte-der-kuenstlichen-intelligenz/ (abgerufen am 26. April 2021).

^[7]  Puppe, Einführung in Expertensysteme, 1991.

^[8]  Vgl. Villani/Rondepierre, Artificial Intelligence and Tomorrow’s Health, in Nordlinger/Villani/Rus, Healthcare and Artificial Intelligence (Springer Nature Switzerland AG, 2020), Seite 1.

^[9]  Newell in Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Foreword, S. xi f.; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[10]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 10 und 13 ff.; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[11]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 13 ff.; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[12]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 10; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[13]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 16; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[14]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 16, unter Verweis auf Peterson et al., 1956; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[15]  Weil eine Unterscheidung nach Geschlechtern ohne nähere Studieninformationen falsch sein kann, wird bei historischen Personenangaben auf eine Differenzierung nach Geschlechtern verzichtet.

^[16]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 16, unter Verweis auf Kunin, 1973; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[17]  Buchanan/Shortcliffe, Rule-Based Expert Systems – The MYCIN Experiments of the Standford Heuristic Programming Project, 1984, Part One (Background), Chapter One, S. 16, unter Verweis auf Scheckler und Bennett, 1970; Roberts und Visconti, 1972; Kunin, 1973; Simmons und Stolley, 1974; Carden, 1974; abrufbar unter https://people.dbmi.columbia.edu/~ehs7001/Buchanan-Shortliffe-1984/MYCIN%20Book.htm (abgerufen am 26. April 2021).

^[18]  https://de.wikipedia.org/wiki/Mycin_(Expertensystem)#:~:text=Mycin%20(Eigenschreibweise%20MYCIN)%20ist%20ein,Infektionskrankheiten%20durch%20Antibiotika%20eingesetzt%20wurde (abgerufen am 26. April 2021).

^[19]  Schnupp/Leibrandt (1986), Expertensysteme, Springer Compass, Springer, Berlin, Heidelberg; S. 22.

^[20]  Spreckelsen/Spitzer, Wissensbasen und Expertensysteme in der Medizin, Vieweg & Teubner Verlag 2009, S. 10.

^[21]  Siehe dazu Otto, Ri 2021, 21 ff.

^[22]  Der Begriff des Vertrauens in eine Technologie wird hier kritisch gesehen, vgl. Otto, Ri 2019, 15 ff. Vertrauen kann man in Menschen und Menschen-Organisationen, auch deren Zertifizierungen durch andere fachkundige Menschen. Das Vertrauen in sie wird nach dieser Auffassung vielmehr als Vertrauen in Maschinen und Software interpretiert.

^[23]  Siehe dazu Otto, Ri 2021, 21 ff.

^[24]  Vgl. AIA-Vorschlag, S. 8.

^[25]  Draft, Ethics Guidelines For Trustworthy AI, 18. Dezember 2018, S. iv; abrufbar unter https://digital-strategy.ec.europa.eu/en/library/draft-ethics-guidelines-trustworthy-ai (abgerufen am 26. April 2021).

^[26]  Otto, Ri 2019, 15 (19).

^[27]  Datum unbekannt, abrufbar unter https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (abgerufen am 26. April 2021).

^[28]  Datum unbekannt, S. 6, abrufbar unter https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (abgerufen am 26. April 2021).

^[29]  Datum unbekannt, S. 6, abrufbar unter https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (abgerufen am 26. April 2021).

^[30]  Das „Künstliche“ in „Künstliche Intelligenz“ ist daher großgeschrieben.

^[31]  Otto, Ri 2020, 101 (103).

^[32]  Herold/Lurz/Wohlrab/Hopf, Grundlagen der Informatik, 3. Aufl., Pearson, S. 44.

^[33]  Wobei KI und ML oft gleichgesetzt werden oder ihr Verhältnis zueinander anderweitig unrichtig dargestellt wird. Dazu Otto in Ri 2020, 84 (86).

^[34]  Siehe z.B. Mozaffari et al., Deep Learning-based Vehicle Behaviour Prediction for Autonomous Driving Applications: a Review, 23. Juli 2020, abrufbar unter https://arxiv.org/pdf/1912.11676.pdf (abgerufen am 26. April 2021).

^[35]  Das ärztliche Gelöbnis des Weltärztebunds in der Deklaration von Genf (offizielle deutsche Übersetzung) ist abrufbar unter https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/International/Deklaration_von_Genf_DE_2017.pdf (abgerufen am 26. April 2021).

^[36]  Spreckelsen/Spitzer, Wissensbasen und Expertensysteme in der Medizin, Vieweg & Teubner Verlag 2009, S. 10.

^[37]  https://learnattack.de/schuelerlexikon/geschichte/homo-sapiens-sapiens (abgerufen am 26. April 2021).

^[38]  Zur Kritik an dem Begriff „vertrauenswürdige KI“: Otto, Ri 2019, 15 ff., 25 ff.

^[39]  „the use of artificial intelligence can provide key competitive advantages to companies and support socially and environmentally beneficial outcomes, for example in healthcare,“.

^[40]  Koch, Was ist Bewusstsein?, veröffentlicht am 2. November 2019 auf Spektrum.de, https://www.spektrum.de/news/was-ist-bewusstsein/1681458 (abgerufen am 26. April 2021).

^[41]  Koch, Was ist Bewusstsein?, veröffentlicht am 2. November 2019 auf Spektrum.de, https://www.spektrum.de/news/was-ist-bewusstsein/1681458 (abgerufen am 26. April 2021).

^[42]  Das dürfte auch für neuronale Implantate (auch Neuroimplantate) gelten, wobei die Frage, ob neuronale Implantate überhaupt zum Bewusstsein gehören können, hier nicht behandelt werden kann. Eine interessante Darstellung der unterschiedlichen Betrachtungsweisen findet sich in Mallot (2009), Neuronale Implantate: künstliche Hardware, natürliche Kognition?, in: Hildt/Engels (Hrsg.), Der implantierte Mensch. Therapie und Enhancement im Gehirn. (Band 5 der Reihe “Lebenswissenschaften im Dialog“, hrsg. von Köchy/Majetschak), Freiburg/ München, Verlag Karl Alber; pp. 87-104, 89; abrufbar unter https://uni-tuebingen.de/fileadmin/Uni_Tuebingen/Fakultaeten/Biologie/Institut_f%C3%BCr_Neurobiologie/Kognitive_Neurowissenschaft/Publications/2010/Mallot_HildtEngels09.pdf (dort S. 3, abgerufen am 26. April 2021).

^[43]  Siehe oben, S. 12.

^[44]  Spreckelsen/Spitzer, Wissensbasen und Expertensysteme in der Medizin, Vieweg & Teubner Verlag 2009, S. 10.

^[45]  Siehe oben, S. 11.

^[46]  Weil überwiegend keine natürliche Person, wird hier auf eine Unterscheidung nach Geschlecht verzichtet.

^[47]  Siehe oben, S. 16 f.

^[48]  https://democracy-reporting.org/dri_publications/deepfakes-and-elections-a-quick-guide-for-electoral-stakeholders/ (abgerufen am 26. April 2021).

^[49]  Hao, Deepfake porn is ruining women’s lives. Now the law may finally ban it, Technology Review, 12. Februar 2021, https://www.technologyreview.com/2021/02/12/1018222/deepfake-revenge-porn-coming-ban/ (abgerufen am 26. April 2021).

^[50]  Elks, Sharing ‘deepfake’ porn images should be a crime, says British law body, https://www.reuters.com/article/britain-women-lawmaking-idUKL8N2KU7NL.

^[51]  https://algorithmwatch.org/en/response-to-eu-ai-regulation-proposal-2021/ (abgerufen am 26. April 2021).

^[52]  Verordnung (EU) 2020/561 des Europäischen Parlaments und des Rates vom 23. April 2020 zur Änderung der Verordnung (EU) 2017/745 über Medizinprodukte hinsichtlich des Geltungsbeginns einiger ihrer Bestimmungen: (4) Angesichts der beispiellosen Dimension der gegenwärtigen Herausforderungen und aufgrund der Komplexität der Verordnung (EU) 2017/745 dürften die Mitgliedstaaten, Gesundheitseinrichtungen, Wirtschaftsakteure und andere betroffene Parteien höchstwahrscheinlich nicht in der Lage sein, die ordnungsgemäße Durchführung und Anwendung dieser Verordnung zum in ihr festgelegten Geltungsbeginn am 26. Mai 2020 sicherzustellen.

^[53]  Umfrage: Ein Jahr nach EU-MDR-Verschiebung – weiterhin fehlende Klarheit, analoge Prozesse und hohe Kosten für Hersteller, Climedo Health, 15. April 2021 https://climedo.de/press/eu-mdr-umfrageergebnisse-2021/ (abgerufen am 26. April 2021).

^[54]  Umfrage: Ein Jahr nach EU-MDR-Verschiebung – weiterhin fehlende Klarheit, analoge Prozesse und hohe Kosten für Hersteller, Climedo Health, 15. April 2021 https://climedo.de/press/eu-mdr-umfrageergebnisse-2021/ (abgerufen am 26. April 2021).

^[55]  Umfrage: Ein Jahr nach EU-MDR-Verschiebung – weiterhin fehlende Klarheit, analoge Prozesse und hohe Kosten für Hersteller, Climedo Health, 15. April 2021 https://climedo.de/press/eu-mdr-umfrageergebnisse-2021/ (abgerufen am 26. April 2021).