Die Einstufung von KI-Systemen als verbotene Praktiken oder Hochrisiko-KI-Systeme hängt von ihrer Zweckbestimmung und konkreten Anwendungsbereichen ab.
Während der risikobasierte Ansatz des Entwurfs des Gesetzes über Künstliche Intelligenz (KI-Verordnung, AI Act) auch in der finalen Fassung beibehalten wird, versucht diese insbesondere bei Hochrisiko-KI-Systemen durch das Merkmal eines bedeutenden Risikos (significant risk) mehr Klarheit im Hinblick auf die Klassifizierung von KI-Systemen zu schaffen.
Unannehmbares Risiko – Einstufung generativer KI als verbotene Praktiken
Die KI-Verordnung verbietet das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen, die als unvereinbar mit den Grundrechten der Europäischen Union (EU) angesehen werden (Art. 5):
- Manipulation von Verhalten und Ausnutzung von Schwächen: KI-Systeme, die darauf abzielen, das Verhalten von Menschen zu manipulieren oder zu beeinflussen, um ihre Entscheidungen zu steuern, und auch KI-Systeme, die gezielt die menschliche Schwächen ausnutzen (z.B. Alter, Behinderung, bestimmte soziale oder wirtschaftliche Situation) mit dem Ziel oder der Bewirkung einer Verhaltensänderung, jeweils in einer Weise, die einen bedeutenden Schaden verursacht oder zu verursachen geeignet ist, sind verboten. Dies umfasst beispielsweise die gezielte Manipulation von Inhalten in sozialen Medien oder anderen Plattformen, um politische oder kommerzielle Ziele zu verfolgen.
- Soziale Bewertungssysteme: KI-Systeme, die Menschen anhand von persönlichen Merkmalen wie Rasse, Geschlecht, Religion oder politischer Überzeugung bewerten (Social Scoring), können zu Diskriminierung, Stigmatisierung und Ungerechtigkeit führen.
- Risikobewertung und Profiling im Hinblick auf Straffälligkeit: KI-Systeme, die natürliche Personen oder Gruppen hinsichtlich des Risikos von Straffälligkeiten beurteilen oder das Auftreten oder die Wiederholung einer Straftat oder Ordnungswidrigkeit auf der Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung von Persönlichkeitsmerkmalen und Eigenschaften, einschließlich des Standorts einer Person, oder des früheren kriminellen Verhaltens natürlicher Personen oder Gruppen natürlicher Personen vorhersagen, sind verboten.
- Datenbankerstellung oder -erweiterung zur Gesichtserkennung: Ein weiteres Verbot gilt für KI-Systeme, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern (Scraping).
- Ableitung von Emotionen: Auch KI-Systeme, die Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen ableiten, gelten als unannehmbares Risiko und sind verboten.
- Biometrische Kategorisierungssysteme: Ein weiteres unannehmbares Risiko besteht im Hinblick auf KI-Systeme, die dazu dienen sollen, einzelne natürliche Personen anhand ihrer biometrischen Daten kategorisieren, um daraus ihre Rasse, politische Meinung, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen Sexualleben oder sexuelle Orientierung abzuleiten oder abzuleiten; ausgenommen sind jedoch rechtmäßig erfasste biometrische Datensätze im Bereich der Strafverfolgung.
- Echtzeit-Gesichtserkennungssysteme in öffentlichen Räumen: Der Einsatz von Gesichtserkennungssystemen in „Echtzeit″ („real-time″ remote biometric identification) in öffentlichen Räumen zur Strafverfolgung ist nur unter strengen Voraussetzungen und für bestimmte Katalogstraftaten zulässig. zulässig.
Generative KI-Systeme müssen daher mit Vorsicht entwickelt und eingesetzt werden, da sie sich grundsätzlich auch für den Einsatz als verbotenen Praktiken eignen. Entscheidend ist der Kontext, in dem das generative KI-System betrieben und entwickelt wird. Wenn es kritische Entscheidungen beeinflusst (z.B., Einstellung, Strafaussetzung zur Bewährung) besteht das Risiko, dass es als verbotene Praktik eingestuft wird.
Wird gegen das Verbot von Praktiken der KI des Art. 5 verstoßen, sieht die KI-Verordnung Geldbußen von bis zu EUR 35 Mio. oder 7 % des gesamten weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Geschäftsjahr vor (Art. 71). Die durch die KI-Verordnung vorgesehen Bußgelder können damit potenziell weit höher sein als unter der Europäischen Datenschutz-Grundverordnung (DSGVO), die maximal bis zu EUR 20 Mio. oder 4 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres vorsieht.
Hochrisiko-KI-Systeme – Generative KI wird je nach Zweckbestimmung und Anwendungsmodalitäten erfasst
Sog. Hochrisiko-KI-Systeme (high risk AI systems) unterliegen strengeren Vorschriften in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Anwender, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit.
Die KI-Verordnung unterscheidet weiterhin zwischen zwei Kategorien von Hockrisiko-KI-Systemen.
Unter eine Kategorie fallen KI-Systeme, die selbst Produkte oder Sicherheitskomponenten von Produkten sind, die unter die in Anhang II aufgeführten Harmonisierungsrechtsvorschriften der EU fallen und als Produkte oder Sicherheitskomponenten eines Produkts im Hinblick auf das Inverkehrbringen oder Inbetriebnehmen nach den Harmonisierungsvorschriften des Anhangs II einer Konformitätsbewertung im Hinblick auf Gesundheit und Sicherheit durch Dritte unterzogen werden müssen. Grundsätzliche Beispiele sind etwa Spielzeuge, Flugzeuge, zwei- oder dreirädrige Fahrzeuge, Autos, medizinische Geräte, Eisenbahnsysteme und Aufzüge. Im Bereich generativer KI-Modelle kommen hier etwa virtuelle Assistenten oder personalisierte Empfehlungen als Teile solcher Produkte in Betracht.
Zusätzlich gelten KI-Systeme, die unter einen oder mehrere der in Anhang III der KI-Verordnung aufgeführten Bereiche fallen, als Hochrisiko-KI-Systeme (Art. 6 Abs. 2). Beispiele sind etwa: :
- Biometrische Identifizierungs- oder Kategorisierungssysteme: Bei KI-Systemen, die biometrische Daten wie Gesichtserkennung, Stimmerkennung, Emotionserkennung oder Verhaltensanalyse verwenden, liegt das hohe Risiko in den schwerwiegenden Auswirkungen eines Missbrauchs solcher Systeme auf Datenschutz und Privatsphäre. Bei biometrischen Identifizierungssystemen dürften allerdings meist keine Komponenten generativer KI eingesetzt werden.
- KI-Systeme in sicherheitskritischen Bereichen: Fehler oder Fehlfunktionen in Systemen, die in sicherheitskritischen Bereichen wie digitaler Infrastruktur, dem Verkehrssektor oder der Energiewirtschaft (z.B. Wasser-, Gas- Wärme- und Stromversorgung) eingesetzt werden, können zu schwerwiegenden Schäden oder Verletzungen von Personen führen und gelten deshalb als Hockrisiko-KI-Systeme.
- Bewertende KI-Systeme in bestimmten Bereichen: Werden KI-Systeme zur Bewertung von Leistungen, Einstufung einer Person oder Zugang zu und Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen eingesetzt, kann eine fehlerhafte oder voreingenommene Bewertung erhebliche Auswirkungen auf die Karriereaussichten, Teilhabe an der Gesellschaft, Lebensstandard und Lebensgrundlagen der betroffenen Personen haben. Insbesondere die folgenden Bereiche werden deshalb als hochriskant angesehen:
- Bildungsbereich (z.B. Bewertung von Schülerleistungen),
- automatisierte Einstufung von Bewerbern bei Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit,
- Kreditpunktebewertung oder zur Bewertung der Kreditwürdigkeit natürlicher Personen (Ausnahme: Inbetriebnahme durch kleine Anbieter für den Eigenbedarf in Betrieb),
- Bewertung von natürlichen Personen für den Abschluss von Kranken- und Lebensversicherungen.
Bei solchen bewertenden Hochrisiko-KI-Systemen wird es sich in aller Regel um generative KI-Systeme handeln, die etwa Daten wie Einkommen, Beschäftigungsverlauf und Bonität, durch die Kreditwürdigkeit eines Unternehmens oder einer Person vorhergesagt werden können, analysieren, oder Lebensläufe und berufliche Qualifikationen von Bewerbern auf ihre Eignung für ein bestimmtes Beschäftigungsverhältnis überprüfen und unter Umständen bereits eine Vorauswahl qualifizierter Bewerber treffen. Ein weiteres Beispiel sind Klassifikation und Evaluation von Arbeitskräften für Beförderungen oder Kündigungen.
- KI-Systeme im Strafverfolgungs- und Justizbereich: KI-Anwendungen, die im Auftrag von oder durch Strafverfolgungsbehörden oder EU-Behörden Gerichten eingesetzt werden (z.B. als Lügendetektoren oder zur Bewertung der Verlässlichkeit von Beweisen im Strafverfahren), gelten als hochriskant.
- KI-Systeme im Zusammenhang mit Migration, Asyl und Grenzkontrolle: KI-Systeme, die bei der Einreise oder in Asylverfahren eingesetzt werden (z.B. Vorhersage von Sicherheits- oder Gesundheitsrisiken einer einreisenden Person, Überprüfung von Reisedokumenten) sollen Hochrisiko-KI-Systeme sein.
- KI-Systeme im Zusammenhang mit Wahlen: Werden KI-Systeme eingesetzt, um Wahlergebnisse oder das Wahlverhalten natürlicher Personen zu beeinflussen, beeinträchtigen sie die Wahlfreiheit und stellen daher ein hohes Risiko dar.
Keine Hockrisiko-KI-Systeme sind dabei solche KI-Systeme, die kein bedeutendes Risiko (significant risk) für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen oder Umweltbeeinträchtigungen darstelle (Art. 6 Abs. 3), was etwa der Fall sein, soll, wenn die KI-Systeme nur eingeschränkte, prozessuale Aufgaben erledigen, das Ergebnis von zuvor abgeschlossenen menschlichen Tätigkeiten verbessern, Entscheidungsmuster oder Abweichungen davon erkennen soll, ohne eine zuvor durchgeführte menschliche Beurteilung zu ersetzen oder zu beeinflussen, ohne dass zuvor eine ordnungsgemäße menschliche Überprüfung erfolgt ist, und die nur vorbereitende Aufgaben für eine in Annex III genannte Bewertung erfüllen.
Anbieter und Anwender sollten sich frühzeitig mit den Anforderungen und Pflichten für Hochrisiko-KI-Systeme auseinandersetzen
KI-Systeme, die ein unannehmbares Risiko darstellen, werden als Verbotene Praktiken ganz untersagt. Für Hochrisiko-KI-Systeme legt die KI-Verordnung Anforderungen und Pflichten für ihre Anbieter, Anwender, Händler und Einführer sowie andere Beteiligte entlang der KI-Wertschöpfungskette fest, sodass es sich lohnt, sich bereits jetzt mit den Anforderungen der KI-Verordnung auseinander zu setzen.
Auch vor der Rechtsberatung macht KI keinen Halt. Dies hat CMS bereits früh erkannt: Wie künstliche Intelligenz die Arbeit in Kanzleien verändert (cmshs-bloggt.de). Auf unserer Innovationen-Homepage und in unserem CMS To Go Podcast „KI für die Rechtsabteilung“ erhalten Sie weitere Informationen.
In unserem CMS-Blog halten wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen auf dem Laufenden. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge benachrichtigt. Im Rahmen dieser Blog-Serie sind bereits Beiträge erschienen zu Themen wie: Künstliche Intelligenz und der Journalismus der Zukunft; Endspurt für die Regulierung von KI; Verbotene Praktiken und Hochrisiko-KI-Systeme; Hochrisiko-KI-Systeme als regulatorischer Schwerpunkt; Pflichten entlang der Wertschöpfungskette und für Anbieter von Basismodellen; Transparenzpflichten, Rechte für Betroffene, AI Office und Sanktionen sowie Robo Adviser. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
*Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.
