Wie diskriminierend ist Künstliche Intelligenz?

Künstliche Intelligenz (KI) wird oft als besonders objektiv wahrgenommen. Auch KI-Entscheidungen haben jedoch erhebliches Diskriminierungspotenzial.

Die Bedeutung künstlicher Intelligenz wächst und wächst. Nahezu täglich gibt es neue Entwicklungen zu KI-basierten Programmen. Nicht nur Privatpersonen experimentieren mit ChatGPT und anderen KI-gestützten Chatbots. KI ist inzwischen auch in vielen Unternehmen angekommen, kann Prozesse idealerweise optimieren und bei bestimmten Auswahlentscheidungen helfen. 

Durch die zunehmende Sichtbarkeit von KI rückt auch die Frage nach der Objektivität KI-basierter Entscheidungen in den Vordergrund und es werden Erfahrungsberichte zu Diskriminierungen durch KI laut. ChatGPT beinhaltet beispielsweise folgenden ausdrücklichen Warnhinweis

[ChatGPT] may occasionally produce harmful instructions or biased content.

Es ist der grundsätzlichen Funktionsweise von KI geschuldet, dass oft nicht genau zurückzuverfolgen ist, wie diskriminierende Entscheidungen zu Stande kommen. Dass die Attraktivität und Nützlichkeit von KI zusätzlich steigen würde, wenn sie in der Lage wäre, Diskriminierungen zu verhindern und menschliche „biases“ (der englische Begriff „bias“ lässt sich sinngemäß mit „Voreingenommenheit“ oder „Vorurteil“ übersetzen) auszuklammern, steht außer Frage. Neben der Schwierigkeit, die Entstehung diskriminierender Entscheidungen nachzuvollziehen und beim Programmieren und Trainieren der KI möglichst zu verhindern, stellen solche Diskriminierungsphänomene jedoch auch das Rechtssystem als Mittel zur Bekämpfung von Ungerechtigkeiten vor Herausforderungen. Das Allgemeine Gleichbehandlungsgesetz (AGG) und das Datenschutzrecht sind nur zwei der in Frage kommenden regulatorischen Mittel zur Vermeidung und Bekämpfung von Diskriminierung durch KI aus rechtlicher Sicht. Daneben sind auf europäischer Ebene verschiedene Ansätze zur Regulierung von KI in Planung. 

•  zwischen starker und schwacher KI unterscheiden. 
•  dahingehende Ansätze aber bereits in der aktuellen Version (GPT 4) des Sprachmodells von ChatGPT erkennbar. Die sog. schwache KI ist demgegenüber bereits in der Realität angekommen. Schwache KI ist nichts anderes als ein Algorithmus der etwas anderen Art. 

Die Folge ist zum einen, dass die KI immer präzisere Ergebnisse hervorbringt, zum anderen aber, dass nicht mehr vorausgesagt werden kann, zu welchem Ergebnis die KI bei einer bestimmten Eingabe kommen wird. 

Künstliche Intelligenz fällt mit Diskriminierungen unter verschiedenen Gesichtspunkten auf

In der Vergangenheit wurden mehrfach Fälle berichtet, in denen Algorithmen eindeutig diskriminierende Entscheidungen hervorbrachten. Im Jahr 2018 wurde beispielsweise bekannt, dass ein großer Internethändler ein KI-System in Betrieb hatte, dass Entscheidungen im Rahmen von Bewerbungsverfahren unterstützen sollte. Hierbei soll es zu einer diskriminierenden Einstellungspraxis gegenüber Frauen gekommen sein. Als Ursache stellte sich eine mangelnde Qualität der Trainingsdaten der Software heraus. 2019 wurde darüber hinaus bekannt, dass Apple Pay unterschiedliche Kreditlimits für Männer und Frauen vorsah. Frauen erhielten regelmäßig geringere Kreditlimits und wurden durch den Apple-Algorithmus benachteiligt. Für großes Aufsehen sorgte zudem die Anwendung Google Fotos, die Fotos Schwarzer Menschen („Schwarze Menschen“ ist eine Selbstbezeichnung und beschreibt eine von Rassismus betroffene gesellschaftliche Position. „Schwarz“ wird großgeschrieben, um zu verdeutlichen, dass es sich um ein konstruiertes Zuordnungsmuster handelt und keine reelle Eigenschaft, die auf die Farbe der Haut zurückzuführen ist, vgl. https://www.amnesty.de/2017/3/1/glossar-fuer-diskriminierungssensible-sprache) und People of Color („People of Color“ ist eine internationale Selbstbezeichnung von/für Menschen mit Rassismuserfahrungen, vgl. https://www.amnesty.de/2017/3/1/glossar-fuer-diskriminierungssensible-sprache) als Gorillas einstufte. Unabhängig von der Hautfarbe identifizierte der Algorithmus zudem in einigen Fällen Menschen als Hunde. In den USA sorgt darüber hinaus immer wieder eine Software (COMPAS) für Aufregung, die dafür eingesetzt wird, damit staatliche Stellen die Wahrscheinlichkeit für eine Rückfälligkeit straffälliger Personen prognostizieren können. Die Ergebnisse der Software fließen sowohl in die Ermittlung des Strafmaßes als auch in Entscheidungen über Anträge auf vorzeitige Haftentlassung ein. Die Software war mehrfach Gegenstand von Verfahren vor dem US Supreme Court, weil sie Schwarzen Amerikaner*innen und Amerikaner*innen of Color mit signifikant höherer Wahrscheinlichkeit eine Rückfälligkeit prognostizierte als weißen („Weiß“ bezeichnet keine biologische Eigenschaft und keine reelle Hautfarbe, sondern eine politische und soziale Konstruktion, vgl. https://www.amnesty.de/2017/3/1/glossar-fuer-diskriminierungssensible-sprache) Amerikaner*innen. 

Diese Beispiele zeigen nur exemplarisch verschiedene Dimensionen diskriminierender Entscheidungen durch KI-Anwendungen. Die Ursachen für die jeweiligen Diskriminierungen durch KI sind vielfältig, und häufig lässt es sich im Nachhinein nicht einmal mehr nachvollziehen, aufgrund welcher Umstände die KI zu dem einen oder dem anderen Ergebnis gekommen ist. 

Die Qualität der Trainingsdatensätze ist entscheidend

Diskriminierende Entscheidungen können sowohl in der Konzeption der KI als auch in deren Training angelegt sein. Eine diskriminierende Konzeption ist vor allem dann anzunehmen, wenn in der Gesellschaft etablierte Vorurteile in den Algorithmus übertragen werden oder technische Vorgaben dazu führen, dass bestimmte Gruppen von Menschen anders behandelt werden als andere. Diskriminierung kann jedoch auch erst während des Trainings und bei der Anwendung der KI entstehen. So ist es bspw. möglich, dass ein Chatbot systematisch mit fremdenfeindlichen Konversationen oder Ansichten „gefüttert“ wird. 

Auch wenn die Ursachen für Diskriminierungen durch KI vielfältig sind, steht jedenfalls fest, dass die Qualität einer KI-Entscheidung maßgeblich von der Qualität der Trainingsdaten abhängt. Veraltete oder unvollständige Datensätze können zu falschen und diskriminierenden Ergebnissen führen. Die KI kann nur aus den Daten lernen, die ihr zur Verfügung gestellt werden. Oft werden Datensätze, die Unternehmen für KI-Programme verwenden, eingekauft und weiterverwendet, ohne eine Qualitätskontrolle durchzuführen, da dies mit einem vergleichsweise hohen Aufwand verbunden wäre. 

Eine Gesichtserkennungs-Software beispielsweise ist nicht von Natur aus diskriminierend. Wenn diese KI jedoch überwiegend mit Bildern von „weißen“ Menschen trainiert wird, kann es dazu kommen, dass „nichtweiße“ Menschen schlechter erkannt oder eingeordnet werden. Dies liegt dann weniger an der fehlerhaften Konzeption der KI als an fehlerhaft ausgewählten Trainingsdaten.

Doch selbst wenn die eingepflegten Daten demografische Gruppen zu gleichen Teilen widerspiegeln, kann es trotzdem zu Verzerrungen kommen, wenn die KI genderspezifische Merkmale beispielsweise von Bewerber*innen überwiegend mit bestimmten (stereotypischen) Positionen assoziiert und diese dann ihrer Entscheidung zu Grunde legt. Eine Diskriminierung durch eine KI ist auch dann denkbar, wenn seitens der Entwickler*innen bestimmte Variablen ausgewählt werden, die bereits in sich diskriminierend sind. Die KI „lernt“ nur was ihr „beigebracht“ wird und würde ihren Ergebnissen demnach auch diskriminierende Variablen zugrunde legen. Hinzu kommt, dass die Entscheidungen einer KI nicht immer auf ursächlichen Korrelationen basieren müssen. Fehlschlüsse sind bei menschlichen Entscheidungen bekannt und können auch bei der Anwendung von KI nicht gänzlich ausgeschlossen werden.

Diskriminierenden KI-Entscheidungen muss aktiv entgegengewirkt werden

Häufig wird eine Transparenz von maschinellen Entscheidungen gefordert. Diese Forderung lässt sich jedoch nicht so leicht in die Tat umsetzen. Insbesondere die selbstlernenden Algorithmen sind oft so komplex, dass die Grundlage der Entscheidung sich kaum oder nur schwer nachvollziehen lässt. Oft haben Unternehmen zudem ein Interesse daran, dass solche Informationen nicht öffentlich zugänglich gemacht werden. 

Idealerweise lernt die KI jedoch nur mit Daten, die korrekt und nicht bereits in sich diskriminierend sind. Die spätere Anwendung der KI kann oft nur schwer beeinflusst werden und ist demnach sehr anfällig für diskriminierende Entscheidungen. Idealerweise ist die KI im Anwendungsfall bereits so intelligent, dass sie solche Informationen selbst als diskriminierend einstufen kann. 

Das AGG als Mittel zur Vermeidung von Diskriminierung durch KI

Der Schutz vor Diskriminierung genießt in Deutschland (Art. 3 GG) und darüber hinaus auch auf europäischer Ebene (Art. 21 GRCh, Art. 23 GRCh) Verfassungsrang.

Das Allgemeine Gleichbehandlungsgesetz (AGG) erfüllt vor diesem Hintergrund – neben der Umsetzung verschiedener EU-Richtlinien – den Zweck einer einfachgesetzlichen Konkretisierung des verfassungsrechtlichen Gleichbehandlungsauftrages. Dabei statuiert das AGG einen individuellen Rechtsschutz vor Diskriminierungen durch nichtstaatliche Stellen, während Art. 3 GG grds. nur auf Ungleichbehandlungen im Verhältnis vom Staat zu den Bürger*innen Anwendung findet. Das in § 1 definierte Ziel des AGG besteht darin, Benachteiligungen, z.B. wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität zu verhindern oder zu beseitigen.

Zur Erreichung dieses Ziels sieht das AGG diverse Rechte für Betroffene vor, insbesondere ein Beschwerderecht (§ 13 AGG), ein Recht zur Leistungsverweigerung (§ 14 AGG) sowie Schadensersatz- und Entschädigungsansprüche (§ 15 AGG).

Im sachlichen Anwendungsbereich unterscheidet das AGG zwischen dem Schutz der Beschäftigten (§ 2 Abs. 1 Nr. 1–4 AGG) und dem Schutz im Zivilrechtsverkehr (§ 2 Abs. 1 Nr. 5–8 AGG). Die damit korrespondierenden Benachteiligungsverbote sind für den Beschäftigungskontext in § 7 AGG und u.a. für Massengeschäfte im Zivilrechtsverkehr in § 19 AGG geregelt. Als ein Beispiel für den Einsatz künstlicher Intelligenz im Beschäftigtenkontext ist die bereit eingangs erwähnte Recruiting AI zu nennen, mit deren Hilfe im Rahmen des Auswahlprozesses von Bewerber*innen Bewerbungen anhand präferierter Kriterien automatisch vorfiltert werden. Im Zivilrechtsverkehr bedienen sich u.a. Banken (i.R.d. zur Bonitätsbewertung) sowie Versicherungen (zur Risikobewertung) künstlicher Intelligenz.

Der Anwendung des AGG auf KI-gestützte Entscheidungsprozesse steht es nicht entgegen, dass unter Einsatz von KI-Systemen eine Diskriminierung nicht unmittelbar durch eine menschliche Entscheidung erfolgt – in Literatur und Rechtsprechung ist allgemein anerkannt, dass eine rechtserhebliche Handlung einer Person auch in Gestalt eines softwaregestützten automatisierten Vorgangs vorgenommen werden kann (bspw. im Kontext der Haftung für persönlichkeitsrechtsverletzende autocomplete-Vorschläge durch Suchmaschinen). In derartigen Fällen erfolgt eine Zurechnung der Automatisierung des Vorgangs i.S.e. (technischen) Hilfsmittels, so wie sich auch ein*e Arbeitgeber*in ausgelagerte Personaltätigkeiten zurechnen lassen muss. Mithin ist das AGG insgesamt technologieneutral konzipiert, womit sich der Anwendungsbereich des AGG grds. auch auf den Einsatz von KI erstreckt.

Der Einsatz künstlicher Intelligenz stellt weniger das Recht selbst, als vielmehr die Durchsetzung desselben auf die Probe, was auf die regelmäßig als Blackbox bezeichneten Entscheidungsfindungsprozesse von KI-Systemen zurückzuführen ist. Auch wenn bereits an der Umsetzung transparenter Algorithmen i.S.e. „explainable AI“ geforscht wird, ist fraglich, inwieweit sich derartige Modelle in Zukunft durchsetzen können, jedenfalls hat sich „explainable AI“ noch nicht als technischer Standard etabliert. Diese (noch) bestehende systemimmanente Intransparenz künstlicher Intelligenz erschwert die Überprüfbarkeit der Entscheidungsgründe und hat für die Betroffenen erhebliche Beweisschwierigkeiten zur Folge, insbesondere bei einer mittelbaren Benachteiligung i.S.d. § 3 Abs. 2 AGG, welche die wohl am häufigsten auftretende Form der Diskriminierung durch KI-Systeme darstellen dürfte. Eine unmittelbare Diskriminierung (§ 3 Abs. 1 AGG) knüpft direkt an eines der schützenswerten Merkmale des § 1 AGG an, wodurch diese offensichtlich ist. Demgegenüber zeichnet sich eine mittelbare Diskriminierung dadurch aus, dass diese aus scheinbar neutralen Kriterien oder Verfahren resultiert, indem eine Person wegen eines in § 1 AGG genannten Grundes gegenüber einer anderen Person in besonderer Weise benachteiligt wird (bspw. eine Stellenausschreibung, in der von Bewerber*innen Deutsch als Muttersprache verlangt wird, wenngleich die ausgeschriebene Tätigkeit nicht erfordert, dass der*die Bewerber*in über hervorragende Deutschkenntnisse verfügt und erst recht nicht, dass er*sie „Deutsch als Muttersprache“ vorweisen kann).

Mit der Unterscheidung dieser Diskriminierungsformen geht eine bedeutende Einschränkung des Individualschutzes einher: Wird mit einer mittelbaren Diskriminierung ein rechtmäßiges sachliches Ziel verfolgt und ist das Mittel zu Erreichung dieses Ziels angemessen und erforderlich, liegt ein die Ungleichbehandlung rechtfertigender Grund (§ 3 Abs. 2 Hs. 2 AGG) vor. Die Möglichkeit einer Rechtfertigung einer unmittelbaren Ungleichbehandlung sieht das AGG hingegen nicht vor.

Die nach dem AGG im Grundsatz beweisbelasteten Betroffenen sehen sich generell – auch bei einer auf einer menschlichen Entscheidung beruhenden ungerechtfertigten Benachteiligung – mit dem Problem konfrontiert, dass ablehnende Entscheidungen (bspw. im Kontext einer Stellenausschreibung) nicht transparent begründet werden und insoweit auch kein genereller gesetzlicher Auskunftsanspruch besteht. Die Blackbox einer KI macht den Nachweis einer ungerechtfertigten Ungleichbehandlung jedoch faktisch unmöglich. Auch die Regelung des § 22 AGG, wonach den Betroffenen eine Beweiserleichterung zugutekommt, indem vermutet wird, dass die Ungleichbehandlung auf einem der in § 1 AGG genannten Merkmale beruht, läuft bei dem Einsatz künstlicher Intelligenz aus den bereits genannten technischen Gründen leer. So greift die Vermutung des § 22 AGG erst dann, wenn den Betroffenen die Darlegung sämtliche Tatbestandsvoraussetzung gelungen ist.

Wenngleich der dargestellte Status quo einen effektiven Schutz vor ungerechtfertigten Benachteiligungen durch KI-Systeme (noch) vermissen lässt, bleibt festzuhalten, dass das AGG de lege lata bereits auf derartige Systeme Anwendung findet. Dementsprechend können Betroffene grds. auf die Individualansprüche des AGG (§ 15 Abs. 1, 2, § 21 Abs. 2 AGG) zurückgreifen, der Einsatz von KI erschwert „lediglich“ die Durchsetzung dieser Ansprüche.

Der europäische Gesetzgeber hat diesen Missstand erkannt und jedenfalls versucht diesen durch ein umfangreiches europäisches Gesetzesvorhaben zu adressieren, wonach insbesondere vorgesehen ist, den Betreiber*innen Transparenz- und Offenlegungspflichten aufzuerlegen.

Datenschutzrecht als Mittel zur Vermeidung von Diskriminierungen durch KI

Auch das Datenschutzrecht setzt der Anwendung von KI Grenzen. Zwar schützt die Datenschutzgrundverordnung (DSGVO) nicht unmittelbar vor Diskriminierungen. Sie sieht jedoch strenge Vorgaben für die automatisierte Entscheidungsfindung vor und kann somit in bestimmten Konstellationen einen Beitrag zur Vermeidung diskriminierender Entscheidungen liefern. 

Art. 22 DSGVO verbietet nachteilige Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung personenbezogener Daten basieren. In Art. 22 DSGVO heißt es dazu:

Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.

Die hinter der Regelung stehende Überlegung lautet, dass betroffene Personen nicht zum bloßen Objekt algorithmusbasierter Automatisierung gemacht werden dürfen. Die Norm findet jedoch nur Anwendung, sofern es sich bei den verarbeiteten Daten um personenbezogene Daten handelt. Auch die Möglichkeit, Rückschlüsse auf eine natürliche Person zu ziehen, ist ausreichend. Werden Daten jedoch zu Trainingszwecken anonymisiert, findet die DSGVO keine Anwendung. Die Norm kommt zudem nur dann zur Anwendung, wenn eine Entscheidung ausschließlich das Ergebnis eines automatisierten Verarbeitungsprozesses ist. Diskriminierungsrisiken ergeben sich jedoch auch in Fällen, in denen KI lediglich bei der Entscheidungsvorbereitung zum Einsatz kommt und die Letztentscheidung einer natürlichen Person obliegt. Das Verbot aus Art. 22 DSGVO greift außerdem nur, wenn die Entscheidung gegenüber der betroffenen Person rechtliche Wirkung entfaltet, was zumindest dann anzunehmen ist, wenn deren rechtlicher Status verändert wird (bspw. im Falle einer Kündigung). 

Bereits aus dem klar definierten Anwendungsbereich der DSGVO, der eine Verarbeitung personenbezogener Daten voraussetzt, wird klar, dass es sich bei der DSGVO nicht um das geeignete Regelwerk handelt, um diskriminierende KI-Entscheidungen zu verhindern. Die DSGVO verfolgt den Schutz des Rechts auf informationelle Selbstbestimmung und dient nicht in erster Linie dazu, Diskriminierungen zu vermeiden. Auch die weiteren Einschränkungen des Art. 22 DSGVO lassen die Norm als ungeeignet erscheinen, um diskriminierende KI-Entscheidungen zu verhindern. Da maschinelles Lernen häufig ohne die Verarbeitung personenbezogener Daten auskommt, hilft auch Art. 5 DSGVO nicht weiter, der die Grundsätze transparenter und korrekter Datenverarbeitung aufstellt. Zwar hätte die Anwendbarkeit der DSGVO in diskriminierenden KI-Szenarien gewissen Charme, da die DSGVO mit ihren hohen Bußgeldandrohungen eine erhebliche Abschreckungswirkung entfaltet und damit Impulse in die richtige Richtung geben könnte, allerdings erscheint es nicht sachdienlich, Datenschutzaufsichtsbehörden über das Vorliegen oder Nichtvorliegen einer Diskriminierung urteilen zu lassen.

Der Tatsache, dass es im Rahmen automatisierter Verarbeitungen zu Diskriminierungen kommen kann, muss daher durch anderweitige Regulierungen entgegengewirkt werden. 

Schutz vor Diskriminierung durch die bevorstehende europarechtliche KI-Regulierung nach dem KI-Verordnungsentwurf 

Die EU-Kommission hat am 21. April 2021 einen Vorschlag zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-VO-E) vorgelegt, mit dem u.a. das Ziel verfolgt wird, geltendes Unionsrecht zur Nichtdiskriminierung zu ergänzen,

indem konkrete Anforderungen zur Minimierung des Risikos der Diskriminierung durch Algorithmen, vor allem in Bezug auf Entwurf und Qualität von für die Entwicklung von KI-Systemen verwendeten Datensätzen, aufgenommen wurden, und Tests, Risikomanagement, Dokumentation und menschliche Aufsicht über die gesamte Lebensdauer von KI-Systemen hinweg verbindlich vorgeschrieben werden.

Der Entwurf verfolgt einen risikobasierten Ansatz, indem er zwischen verschiedenen Risikostufen differenziert und klassifizierte Vorgaben setzt: Je höher das potenzielle Risiko, desto höher sollen die Anforderungen an das KI-System sein. Auf diesem Prinzip aufbauend, sieht der Entwurf das Verbot für besonders gefährliche KI-Systeme vor (Art. 5 KI-VO-E), regelt Anbieter*innen- und Nutzer*innenpflichten und definiert verbindliche Anforderungen an KI-Systeme mit hohem Risiko (Art. 8 ff. KI-VO-E, insb. in Bezug auf Transparenz und Dokumentation).

Es darf angenommen werden, dass der mit dem aktuellen Entwurf verfolgte risikobasierte Ansatz auch nach dem Durchlaufen des europäischen Gesetzgebungsverfahrens der KI-Verordnung erhalten bleibt. Dieses Regulationsprinzip entspringt dem allgemeinen Verhältnismäßigkeitsgrundsatz und hat sich bereits innerhalb der DSGVO bewährt.

Für den Fall eines Verstoßes gegen Bestimmungen der KI-Verordnung sind empfindliche Sanktionen vorgesehen (mit Bußgeldern von bis zu EUR 30 Mio. bzw. 6 % des gesamten weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist), die sogar den nach der DSGVO vorgesehenen Bußgeldrahmen übersteigen.

Die eingangs erwähnten Einsatzbeispiele künstlicher Intelligenz (bei der Bewerber*innen-Auswahl mit Hilfe einer Recruiting AI sowie im Rahmen von Bonitätsprüfungen durch Banken) stellen nach dem KI-VO-E zwar keine besonders gefährlichen, verbotenen KI-Systeme dar, werden jedoch als Hochrisiko-Systeme klassifiziert (Art. 6 Abs. 2 i.V.m. Anhang III Nr. 4 lit. a), Nr. 5 lit. b) KI-VO-E). In der Folge werden den Anbieter*innen und Nutzer*innen umfangreiche Transparenz- und Dokumentationspflichten sowie Datenqualitäts- und Daten-Governance-Vorgaben auferlegt (Art. 8 ff. KI-VO-E):

• Gem. Art. 13 KI-VO-E müssen „Hochrisiko-KI-Systeme […] so konzipiert und entwickelt [werden], dass ihr Betrieb hinreichend transparent ist, damit die Nutzer[*innen] die Ergebnisse des Systems angemessen interpretieren und verwenden können“.

• Zudem sieht der KI-VO-E in Art. 14 eine menschliche Aufsicht über die Systeme vor, die der Verhinderung oder Minimierung der Risiken u.a. für die Grundrechte dienen soll.

• Darüber hinaus müssen die Trainings-, Validierungs- und Testdatensätze von Hochrisiko-KI-Systemen den in Art. 10 Abs. 2–5 KI-VO-E genannten Qualitätskriterien entsprechen und insbesondere „relevant, fehlerfrei und vollständig sein“.

Aus dieser nichtabschließenden Aufzählung wird der regulatorische Ansatz der europäischen Gesetzgebung deutlich, wonach auf der einen Seite präventiv wirkende Vorkehrungen verbindlich festgesetzt werden, um eine Diskriminierung durch KI möglichst zu verhindern, und auf der anderen Seite durch die vorgesehenen Transparenz- und Dokumentationspflichten für Anbieter*innen und Nutzer*innen (mutmaßlich) das Ziel verfolgt wird, den von Ungleichbehandlung durch KI Betroffenen die Durchsetzung ihrer Ansprüche zu erleichtern.

Das aktuelle Konzept des Verordnungsentwurfs verfehlt dieses vorgenannte Ziel jedoch:

Zum einen sieht der Entwurf nicht vor, den Betroffenen einen Zugang zu den von den Anbieter*innen genutzten Trainings-, Validierungs- und Testdatensätzen zu gewähren und damit „uneingeschränkte Transparenz“ zu schaffen. Vielmehr erlangen gem. Art. 64 KI-VO-E ausschließlich die „Marktüberwachungsbehörden“ direkten Zugriff auf diese Daten, die jedoch gem. Art. 70 KI-VO-E insoweit einer Vertraulichkeitspflicht unterliegen. Die Frage, ob die Rechtsdurchsetzung für Betroffene tatsächlich durch das europäische Gesetzesvorhaben verbessert wird, hängt mithin in erheblichem Maße auch von der technischen und finanziellen Ausstattung jener „Marktüberwachungsbehörden“ ab, die sich damit konfrontiert sehen werden, große Datenmengen (ChatGPT basiert derzeit bspw. auf 570 GB an Text-Trainingsdaten) und komplexe Algorithmen prüfen zu müssen.

Zum anderen impliziert das europäische Gesetzgebungsvorhaben, dass die von einer Ungleichbehandlung durch KI-Systeme Betroffenen in der Regel gleichzeitig auch Nutzer*innen dieser Systeme sind, was nicht zwangsläufig der Fall sein muss. So zielen bspw. die Anforderungen des bereits erwähnten Art. 13 KI-VO-E, wonach

Hochrisiko-KI-Systeme […] so konzipiert und entwickelt [werden müssen], dass ihr Betrieb hinreichend transparent ist […]

ausschließlich darauf ab, dass

die Nutzer[*innen] die Ergebnisse des Systems angemessen interpretieren und verwenden können.

Gegenüber Dritten, die keine Nutzer*innen der Systeme sind, jedoch durch deren Ergebnisse eine Ungleichbehandlung erfahren haben, greift diese Pflichtanforderung nicht. Zwar nimmt die allgemeine Offenlegungspflicht nach Art. 52 KI-VO-E auch betroffene Dritte in den Blick, beschränkt sich jedoch darauf, dass

natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben […],

was bereits de lege lata durch die DSGVO gewährleistet wird.

Regulatorik muss mit den technischen Entwicklungen Schritt halten

Dass Künstliche Intelligenz die private, gesellschaftliche und berufliche Lebensrealität in naher Zukunft maßgeblich beeinflussen wird, kann nicht mehr ernsthaft bezweifelt werden. Umso wichtiger ist es, dass die durch KI getroffenen oder unterstützen Entscheidungen die Gesellschaft nicht nur in puncto Schnelligkeit der Entscheidungsfindung, sondern auch im Hinblick auf die Genauigkeit und die Unvoreingenommenheit der Entscheidung voranbringt. 

Warnhinweise zu möglicherweise vorurteilsbehafteten Empfehlungen von KI-Systemen sind hierbei nur der Anfang. Im Rahmen der Konzeption und des Trainings von KI müssen diskriminierungsverhindernde Herangehensweisen aktiv mitgedacht werden und dort, wo es dennoch zu diskriminierenden Entscheidungen oder Empfehlungen kommt, sollten Betroffenen rechtliche Mittel zur Verteidigung zur Verfügung stehen. De lege lata sind die Möglichkeiten begrenzt, weil die bisherigen Regulierungen KI noch nicht mitgedacht oder als Regelungsziel in den Blick genommen haben. 

Die europäischen risikobasierten Regulierungsansätze könnten die Weichen für eine effektive Rechtsdurchsetzung in diesem Bereich stellen, indem die genannten präventiv wirkenden Vorkehrungen verbindlich festgesetzt werden und gleichzeitig auch die Intransparenz der Systeme adressiert wird, um die Kontrolle der Ergebnisse durch staatliche Institutionen auch tatsächlich zu ermöglichen. Es muss allerdings davon ausgegangen werden, dass insbesondere die Regulierung der Trainingsdaten sowie die allgemeinen Transparenzpflichten erhebliches Potenzial für Diskussionen im Rahmen des Gesetzgebungsverfahrens bieten und entsprechend umfangreichen Änderungsschleifen unterliegen werden. Vor diesem Hintergrund bleibt die weitere Entwicklung dieses europäischen Regulationsvorhabens abzuwarten und zu beobachten.