Zwei Wege zur besseren Handhabung und Bestimmung des Begriffs „KI-System“ i.S.d. KI-Verordnung und seine Abgrenzung zur „Künstlichen Intelligenz“.
Die am 1. August 2024 in Kraft getretene Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz („KI-Verordnung“) ist der erste gesetzgeberische Versuch, einheitliche Regelungen für den Einsatz von künstlich intelligenten Systemen zu etablieren.
Der wohl wichtigste Begriff der Verordnung ist der des „KI-Systems“. Er entscheidet maßgeblich über den sachlichen Anwendungsbereich und damit über das Pflichtenprogramm, das die Entwickler, Inverkehrbringer, Inbetriebnehmer und/oder Verwender von Systemen künstlicher Intelligenz (KI-Systeme) in der Union erfüllen müssen.
Angriffspunkt: Die Künstliche Intelligenz
Der europäische Gesetzgeber war insbesondere von der Befürchtung geleitet, dass ohne eine einheitliche Regelung für den Binnenmarkt viele kleinteilige einzelstaatlichen Regelungskonzepte entstünden. Die Rechtslage innerhalb der Europäischen Union wäre kaum mehr zu überblicken. Gleichzeitig sah sich der Gesetzgeber dazu berufen, das „menschliche Wohlergehen“ sicherzustellen, indem „Künstliche Intelligenz“ im Einklang mit den Werten der Union und der Charta der Grundrechte der Europäischen Union entwickelt wird (Erwägungsgrund Nr. 6 der KI-Verordnung).
Die Verordnung lässt keinen Zweifel daran, dass zur Sicherstellung dieses Ziels alle Stellschrauben gedreht werden sollten, die dem europäischen Gesetzgeber für solche Harmonisierungen zur Verfügung stehen. Prominent an erster Stelle erklärt er, dass nicht nur die Entwicklung, sondern auch das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz („KI-Systeme“) in der Union einem einheitlichen Rechtsrahmen unterworfen werden (Art. 1 Nr. 2 a) KI-Verordnung).
Früh war sich der Gesetzgeber über das Regelungsobjekt im Klaren: Die „Künstliche Intelligenz“ sollte harmonisiert werden. Eine aussagekräftige Definition war für die angestrebte Verordnung unerlässlich, wozu unter anderem eine „High-Level Expert Group on Artificial Intelligenc“ (AI HLEG) konsultiert wurde. Diese wies mit ihrem Bericht vom 8. April 2019 darauf hin, dass der Begriff „Künstliche Intelligenz“ aus der Informatik stammt und dort auch nicht nur eine einzelne, statische (und damit greifbare) Technologie bezeichnet, sondern ein umfangreiches, dynamisches Forschungsgebiet umfasst. Die Künstliche Intelligenz regulieren zu wollen, wäre ungefähr so, als würde man „das Internet“ regeln wollen. Die AI HLEG schlug daher eine Korrektur vor: Nicht die Künstliche Intelligenz sollte reguliert werden, sondern die hieraus hervorgehenden Technologien.
Die Definition von KI-Systemen: Der Gesetzestext
Aufgrund der Dynamik der Künstlichen Intelligenz war eine Festlegung auf bestimmte Technologien nicht erwünscht. Die Definition sollte vielmehr einen Interpretationsraum öffnen, der eine zukünftige Reaktion auf neuartige KI-Technologien nicht nur ermöglicht, sondern am besten überflüssig macht. Allerdings sind die Ziele der KI-Verordnung gefährdet („Funktionieren des Binnenmarkts […] verbessern“), wenn keine klare Begriffsbestimmung geboten wird. Eine flexible Definition auf der einen und Rechtssicherheit auf der anderen Seite sind naturgemäß schwierig, gleichzeitig zu maximieren, da die zwei Ziele in unterschiedliche Richtungen wirken.
Ergebnis dieses Spannungsverhältnisses ist die mit Art. 3 Abs. 1 KI-Verordnung festgehaltene Definition des „KI-System“. Ein KI-System ist demnach
„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.
Die Definition lässt erkennen, dass sich der Gesetzgeber lediglich auf das absolute Minimum festlegen möchte. Aus dem Verordnungstext selbst sowie auch dessen Genese lässt sich aber herauslesen, dass der Gesetzgeber bestimmte KI-Technologien beim Entwurf der Verordnung im Blick hatte. Die Gemeinsamkeiten dieser Technologien wurden destilliert und als Mindestanforderungen festgehalten.
Dies eröffnet zwei Zugriffspunkte zur Handhabung der Definition: Zum einen kann von den gesetzgeberischen Leitbildern und zum anderen von den abstrakten Mindestanforderungen ausgehend hin zur konkreten KI-Technologie geschlussfolgert werden.
Gesetzgeberische KI-Leitbilder
Als der europäische Gesetzgeber der eingesetzten AI HLEG den Auftrag erteilte, die Definition von „Künstlicher Intelligenz“ zu erarbeiten, setzte die Expertengruppe auf einem Vorschlag auf, den der europäische Gesetzgeber bereits bis dato kommuniziert hatte. Unter anderem hieß es in der gesetzgeberischen Arbeitsthese:
„KI-basierte Systeme können rein softwaregestützt in einer virtuellen Umgebung arbeiten (z. B. Sprachassistenten, Bildanalysesoftware, Suchmaschinen, Sprach- und Gesichtserkennungssysteme), aber auch in Hardware-Systeme eingebettet sein (z. B. moderne Roboter, autonome Pkw, Drohnen oder Anwendungen des „Internet der Dinge“).“
Unabhängig davon, dass es diese (Teil-)Definition nicht in den finalen Gesetzestext geschafft hat, lässt der Gesetzgeber hier erkennen, welche Technologien er mit „Künstlicher Intelligenz“ assoziierte (KI-Technologien). Freilich ist nicht zu übersehen, dass dies lediglich eine Momentaufnahme des Jahres 2018 darstellt. Immerhin wird hier kein Rekurs auf textgenerierende KI (insb. „Large Language Models“) genommen, die im späteren Verordnungstext als sog. „KI-Modelle mit allgemeinem Verwendungszweck“ eine nicht unerhebliche Rolle einnehmen.
Mit Blick in die finale KI-Verordnung vom 12. Juli 2024 wird diese Palette von konkreten technischen KI-Anwendungen ausgeweitet und ergänzt. Die KI-Verordnung nimmt explizit Bezug auf Online-Suchmaschinen (Vermittlungsdienste), insbesondere wenn sie in der Form eines Online-Chatbots ausgestaltet sind; autonome Roboter in der Fertigung oder persönlichen Assistenz und Pflege; Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im Gesundheitswesen; Software zur Bearbeitung und Verbesserung von Dokumenten/Dossiers; Übersetzungssoftware; Sprachmodelle/Chatbots sowie Technologien mit der Fähigkeit biometrische Daten oder Emotionen natürlicher Personen zu erkennen.
Der Dynamik der „Künstlichen Intelligenz“ ist es geschuldet, dass diese gesetzgeberischen Leitbilder lediglich eine grobe Orientierung bieten. Sollte eine Technologie nicht unter eine dieser Anwendungen fallen, so lässt sich daraus nicht schließen, dass diese kein KI-System sein soll. Umgekehrt lässt sich aber sagen, dass je mehr eine Technologie mit diesen Leitbildern gemein hat, desto eher ist sie als KI-System zu qualifizieren.
Gesetzestext
Der zweite Zugriffspunkt auf den sachlichen Anwendungsbereich der KI-Verordnung bietet die Auslegung der im Gesetzestext gebotenen Definition. Ausgehend von den eben geschilderten konkreten Beispielanwendungen von KI-Systemen hat der Gesetzgeber die gemeinsamen Elemente abstrahiert. Dieses Destillat von Gemeinsamkeiten (sieben an der Zahl) hat anschließend Eingang in den Gesetzestext gefunden. Seit dem 6. Februar 2025 wird die KI-VO auch von Leitlinien zur Auslegung des Begriffs „KI-System“ flankiert.
Nach der gesetzgeberischen Definition ist jedes KI-System demnach
„ein maschinengestütztes System [1], das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist [2] und das nach seiner Betriebsaufnahme anpassungsfähig sein kann [3] und das aus den erhaltenen Eingaben für explizite oder implizite Ziele [4] ableitet [5], wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden [6], die physische oder virtuelle Umgebungen beeinflussen können [7]“
- Mit dem Begriff „maschinengestützt“ hat der Gesetzgeber wohl das Gleiche gemeint, wie mit dem andernorts verwendeten Begriff „maschinenbasiert“, welcher auch besser die englisch sprachige Version des Gesetzestextes abbildet. „Maschinenbasiert“ meint vor allem die Tatsache, dass KI-Systeme von bzw. mithilfe von Maschinen betrieben werden (der englische Erwägungsgrund Nr. 12 spricht von: „refers to the fact that AI systems run on machines“). Als Maschine kann sowohl die Hardware- als auch die Softwarekomponente verstanden werden, die dem KI-System zur Funktionalität verhelfen; der Begriff ist weit auszulegen. Auch die neuartigen Quantencomputer fallen hierunter.
- Des Weiteren zeichnet ein KI-System aus, dass es zu einem gewissen Grad autonom betrieben werden kann, also dass es wenigstens zu einem Teil unabhängig von menschlichem Zutun agieren kann und in der Lage ist, ohne menschliches Eingreifen zu arbeiten. Ein System, das zur korrekten Funktion unablässig menschlichen Zutuns bedarf, ist demnach kein KI-System. Es reicht aber aus, dass das System auf den autonomen Betrieb „ausgelegt“ ist. Ob es letztendlich auch autonom betrieben wird, ist grundsätzlich unerheblich.
- Ein KI-System hat außerdem die Fähigkeit „abzuleiten“. Eine Ableitung in diesem Sinne ist der Prozess, wie das System Ausgaben erzeugt. Das KI-System grenzt sich von der einfachen Datenverarbeitung vor allem dadurch ab, dass es über die bloße Verarbeitung der Daten hinaus auch Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht und neue Ausgaben erzeugt. Von einem Computerprogramm grenzt sich ein KI-System insbesondere dadurch ab, dass es nicht nur eine Operation automatisiert oder (selbstständig) verbessert, sondern eine eigene Ausgabe erzeugt.
- Die nachfolgende Aufzählung, wonach Ausgaben „Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen“ sein können, ist lediglich beispielhafter Natur. Auch Modelle oder Algorithmen, die vom System aus Eingaben oder Daten extrahiert werden, sind Ausgaben. Durch die Bezugnahme auf explizite oder implizite Ziele wird betont, dass KI-Systeme auf explizit festgelegte oder implizite Ziele hinarbeiten können. Die Ziele des KI-Systems sind dabei nicht zwingend gleichbedeutend mit seiner Zweckbestimmung.
- Zudem können die Ausgaben des KI-Systems die physische oder virtuelle Umgebung beeinflussen. Umgebung in diesem Sinne sind Kontexte, in denen KI-Systeme betrieben werden, also gewissermaßen ihre „Arbeitsumgebung“.
Darüber hinaus mögliche Fähigkeiten von KI-Systemen
Ein KI-System muss nicht notwendigerweise eine reine Software darstellen. Dieses Merkmal, das noch im Entwurf der KI-Verordnung enthalten war, wurde gestrichen. Nach der gesetzgeberischen Intention sollte es keine Rolle spielen, ob das KI-System eigenständig oder als Bestandteil eines Produkts verwendet wird. Insoweit ein KI-System als Bestandteil eines Produkts daherkommt, ist es unerheblich, ob die Software in das Produkt selbst eingebettet ist oder ob die Software lediglich entfernt der Funktion des Produkts dient, ohne selbst in dieses integriert zu sein.
Die in Art. 3 Abs. 1 KI-Verordnung gebotene Definition stellt außerdem klar, dass ein KI-System dann vorliegen kann, wenn es nach seiner Betriebsaufnahme anpassungsfähig ist. Anpassungsfähigkeit bezieht sich auf die Lernfähigkeit des KI-Systems, durch die es sich während seiner Verwendung verändert. Gemeint ist insb. das sog. maschinelle Lernen („machine learning“). Der Gesetzgeber entscheidet sich damit gegen die Auffassung, ein KI-System sei nur dann gegeben, wenn das System sich selbst verändern kann.
Die von der AI HLEG aufgezeigte Unterscheidung zwischen sehr einfachen rationalen KI-Systemen („rational AI systems“) und lernenden rationalen Systemen („learning rational system“) hat nicht dazu geführt, dass der Gesetzgeber sich auf das ein oder andere beschränken wollte.
Filterung über Risikobewertung
Der Gesetzgeber hat sich mit Art. 3 Abs. 1 der KI-Verordnung somit für eine sehr weite und flexible Definition des KI-Systems entschieden. Dies scheint gerechtfertigt. Immerhin ist das Forschungsgebiet der Künstlichen Intelligenz in der Lage, sich ständig neu zu erfinden und immer neue KI-Systeme auf den Markt zu bringen. Sich bereits auf der Ebene des sachlichen Anwendungsbereiches festzulegen, birgt damit die stete Gefahr von Schutzlücken.
Stattdessen legt der Gesetzgeber den Hebel bei der Risikoeinschätzung an. Ein KI-System, das so rudimentär ist, dass von ihm keine oder nur geringe Gefahren ausgehen, werden mit minimalen Anforderungen schnell wieder aus dem „Schwitzkasten“ der KI-Verordnung entlassen. Erst bei der Einschätzung, ob ein KI-System ein Hochrisiko-KI-System ist, sieht sich der Gesetzgeber zu tiefgreifenderem Handeln veranlasst.
In unserem CMS-Blog informieren wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesem Thema. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge informiert. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
This article is also available in English.
