Mittels KI werden meist auch personenbezogene Daten verarbeitet. Die datenschutzrechtliche Verantwortlichkeit ergibt sich aus dem jeweiligen Use Case.
Künstliche Intelligenz (KI) ist in aller Munde und revolutioniert in atemberaubender Geschwindigkeit zahlreiche Bereiche des Lebens. Anders als traditionelle Computerprogramme, die auf klar definierten Abläufen basieren, versucht man unter Zuhilfenahme von KI, menschenähnliche Intelligenz mit Fähigkeiten wie z.B. logischem Denken oder Lernen nachzubilden.
Mit diesen Chancen gehen naturgemäß zahlreiche Fragen rund um den Datenschutz und die IT-Sicherheit einher. Bereits in der Trainingsphase der KI werden KI-Hersteller/KI-Anbieter mit verschiedenen kniffligen datenschutzrechtlichen Fragen konfrontiert, etwa hinsichtlich der einschlägigen Rechtsgrundlage für die Verarbeitung von personenbezogenen Daten als Trainingsdaten oder hinsichtlich des ordnungsgemäßen Umgangs mit Informationspflichten und Betroffenenrechten. Auch bei der späteren Anwendung der KI müssen sich KI-Nutzer* mit einigen datenschutzrechtlichen Fragen auseinandersetzen. Eine grundlegende Frage ist dabei, wer im Rahmen der Anwendung von KI-Systemen Verantwortlicher im Sinne von Art. 4 Nr. 7 DSGVO ist, wenn die KI-Systeme personenbezogene Daten verarbeiten.
Fest steht, dass es nach den Grundsätzen der DSGVO zumindest einen Verantwortlichen geben muss, wenn durch KI personenbezogene Daten verarbeitet werden. Fest steht auch, dass die KI selbst – mag sie noch so fortgeschritten sein und intelligent wirken – nach der derzeitigen Rechtslage nicht selbst Verantwortlicher im Sinne der DSGVO sein kann, da hierfür nach der DSGVO nur eine „natürliche oder juristische Person, Behörde, Einrichtung oder andere Stelle“ in Frage kommt. Insofern wird zwar bereits seit mehreren Jahren (außerhalb des Datenschutzrechts) über die zukünftige Möglichkeit einer sog. „e-Person“ spekuliert. Eine eigene Rechtspersönlichkeit im Sinne der DSGVO haben Siri, Alexa & Co. aber nach der aktuell herrschenden Auffassung (noch) nicht.
Auch wenn somit die grundlegenden Maßstäbe der DSGVO für die Beurteilung der Frage nach der datenschutzrechtlichen Verantwortlichkeit bei der Nutzung von KI feststehen, ergeben sich dennoch Detailfragen, die im Einzelfall anhand der Ausgestaltung und Fähigkeiten des konkreten KI-Systems, dessen Einsatzzwecks und der beteiligten Akteure zu bewerten sind.
Verantwortlichkeit im Sinne der DSGVO
Der Verantwortliche nimmt im Rahmen der DSGVO eine zentrale Rolle ein und wird zahlreichen Pflichten unterworfen. Nicht nur muss dieser bspw. die Rechtmäßigkeit der Datenverarbeitung (Art. 5 ff. DSGVO) und die Erfüllung von Betroffenenrechten (Art. 12 ff. DSGVO) sicherstellen und ist rechenschaftspflichtig für die Einhaltung der datenschutzrechtlichen Anforderungen (siehe Art. 5 Abs. 2 DSGVO). Der Verantwortliche spielt auch hinsichtlich der gefürchteten DSGVO-Bußgelder oder etwaiger Schadensersatzansprüche Dritter eine zentrale Zurechnungsrolle.
Die DSGVO definiert den Verantwortlichen gem. Art. 4 Nr. 7 DSGVO dabei als
die natürliche oder juristische Person, Behörde, Einrichtung oder andere Stelle, die allein oder gemeinsam mit anderen über die Zwecke und Mittel der Verarbeitung von personenbezogenen Daten entscheidet.
Die Bestimmung der Verantwortlichkeit hängt hiernach also von den tatsächlichen und rechtlichen Einwirkungsmöglichkeiten auf die „Zwecke und Mittel“ der Datenverarbeitung ab, also insbesondere davon, ob ein Akteur die Entscheidung über das „Warum“ und „Wie“ einer Datenverarbeitung in den Händen hält.
Der Verantwortliche ist von anderen Akteuren, die im Rahmen der Datenverarbeitung ebenfalls beteiligt sein können, abzugrenzen. Andere Akteure sind bspw. der datenschutzrechtlich Betroffene, dessen personenbezogene Daten verarbeitet werden oder der Auftragsverarbeiter, der als verlängerter Arm weisungsgebunden im Auftrag des Verantwortlichen personenbezogene Daten verarbeitet.
Verantwortlichkeit für den Produktiveinsatz von KI-Systemen
Als Verantwortliche kommen beim Produktiveinsatz von KI-Systemen (nach Abschluss der initialen Trainingsphase) insbesondere der Anbieter des KI-Systems und der jeweilige Nutzer, der das KI-System für seine Zwecke einsetzen möchte, in Betracht.
Nutzer kann in diesem Sinne sowohl eine natürliche als auch eine juristische Person sein. Beispielsweise sind Unternehmen, die KI für eigene unternehmensinterne Prozesse oder für auf dem Markt bereitgestellte Produkte oder Dienstleistungen einsetzen möchten, unter die Gruppe der „Nutzer“ zu fassen, deren Mitarbeiter und Kunden dann wiederum datenschutzrechtlich Betroffene sein können. Nur dann, wenn der Nutzer selbst eine natürliche Person ist, bspw. beim Privatgebrauch eines KI-Systems, fällt dieser in der Regel mit der Person des Betroffenen zusammen. Für die Bewertung der Verantwortlichkeit ist dabei auf die einzelnen Verarbeitungshandlungen/-schritte sowie die konkreten Umstände bei der Nutzung der KI-System abzustellen.
Verantwortlichkeit für die Auswahl und die Bereitstellung des Daten-Inputs
Die meisten KI-Systeme, insbesondere die sich seit spätestens 2022 in aller Munde befindlichen Text- und Bildgeneratoren, bieten eine Chatoberfläche zur Eingabe von Informationen oder ein Upload-Tool zur Bereitstellung sonstiger Daten. Abhängig von der jeweiligen KI kann dies ganze Dokumente, Grafiken, Tabellenblätter, etc. umfassen, die mitunter personenbezogene Daten enthalten können. Hierbei wird auch der sog. Prompt, also die konkrete Aufgabe, die von der KI gelöst werden soll, gestellt.
Bereits die Vorauswahl der an die KI bereitzustellenden Daten und der anschließende Upload dieser Daten an die KI stellt eine Datenverarbeitung im Sinne der DSGVO dar. Da in der Regel nur der Nutzer selbst entscheidet, welche Informationen an die KI zur Verarbeitung gegeben werden, ist in erster Linie auch der Nutzer für diese Daten verantwortlich. Insbesondere behält für die Vorauswahl der bereitzustellenden Daten der jeweilige Nutzer die Kontrolle darüber, welche Daten in die KI eingegeben werden (Daten-Input). Der Nutzer entscheidet welche Daten verarbeitet werden sollen und legt die spezifischen Ziele und Zwecke der Verarbeitung fest.
Verantwortlichkeit für die Verarbeitung des Daten-Inputs durch die KI und Generierung des Daten-Outputs
Der Daten-Input wird anschließend von der KI entgegengenommen und verwendet, um den spezifischen Prompt aufzulösen und eine Antwort in Form eines Daten-Outputs bereitzustellen. Insbesondere wird der Daten-Input dabei durch Verwendung sog. Large Language Models (LLMs) analysiert und in konkrete Arbeitsanweisungen für die KI dekodiert. Mittels LLMs ist KI in der Lage, natürliche Sprache zu verstehen, zu verarbeiten und die Verarbeitungsergebnisse wieder in Form von natürlicher Sprache wiederzugeben. Enthält der Daten-Input / Prompt personenbezogene Daten, kann bereits dies eine relevante Datenverarbeitung darstellen.
Die Verarbeitung und Generierung des Daten-Outputs kann anschließend dadurch erfolgen, dass die Input-Daten mit anderen Daten aus einer Datenbank und/oder mit öffentlich zugänglichen Daten aus dem Internet abgeglichen und bewertet werden (je nach Art der spezifischen KI-Anwendung). Dieser unmittelbare Datenabgleich stellt dann eine Verarbeitung personenbezogener Daten dar, wenn der abgeglichene Datenbestand personenbezogene Daten enthält, die hierbei ausgewertet werden.
Derzeit umstritten ist dagegen, inwiefern auch dann eine Verarbeitung personenbezogener Daten vorliegt, wenn der abzugleichende Datenbestand in Form von Vektoren gespeichert ist, also als bloße Datenverbindungen. Auch in diesen Fällen ist ein Personenbezug jedoch nicht per se ausgeschlossen, wenn sich jedenfalls aus der Gesamtschau der Datenverbindungen weiterhin Rückschlüsse auf zumindest identifizierbare natürliche Personen ergeben können. In diesem Fall könnten die im Modell gespeicherten Informationsfragmente lediglich pseudonymisierte Daten darstellen (insofern diese erst wieder zu einer verwertbaren Aussage zusammengesetzt werden müssen), nicht aber vollständig anonyme Daten.
Vom Daten-Input zum Daten-Output: Verantwortlichkeit des Nutzers
Auch für diesen Verarbeitungsschritt ist der Nutzer als datenschutzrechtlicher Verantwortlicher zu qualifizieren, da er die Input-Daten ja gerade zum Zweck der Verarbeitung und Generierung des Daten-Outputs durch die KI bereitgestellt hat und hierfür Zweck und Mittel (zumindest durch die Auswahl des Daten-Inputs und der konkret verwendeten KI) determiniert hat.
Vom Daten-Input zum Daten-Output: Verantwortlichkeit des KI-Anbieters
Handelt es sich bei der KI um eine self-hosted Lösung ohne Anbindung an Application Programming Interfaces (API) oder sonstigen Datenfluss an den Entwickler/Anbieter oder weitere Dritte, dürfte es bei der alleinigen datenschutzrechtlichen Verantwortlichkeit des Nutzers bleiben. Für eine (Mit-)Verantwortlichkeit des KI-Anbieters kann es wohl kaum ausreichend sein, dass dieser das KI-System initial programmiert und bereitgestellt und dabei die technische Funktionsweise und die verwendeten Algorithmen der KI determiniert hat. Zwar gibt der KI-Anbieter mit der Programmierung bereits die später durch den Nutzer initiierte Datenverarbeitung (die Mittel) vor, die sich der Nutzer im Rahmen der späteren konkreten Datenverarbeitung zu eigen macht. Dies ist aber bei jeder Software der Fall und kann daher nicht ausschlaggebend für die Rolle des Verantwortlichen sein.
Handelt es sich bei der KI dagegen um eine Software-as-a-Service (SaaS) bzw. KI-as-a-Service und ist der KI-Anbieter bei der vom Nutzer initiierten Datenverarbeitung weiterhin involviert, tritt mit dem KI-Anbieter zumindest ein potenzieller weiterer Akteur dem Kreis der möglichen Verantwortlichen hinzu. Dies macht den KI-Anbieter aber ebenfalls nicht automatisch zum Verantwortlichen der durch die KI durchgeführten Datenverarbeitung im Sinne der DSGVO. Verfolgt der KI-Anbieter mit der Verarbeitung des Daten-Inputs keine über die Durchführung der Bereitstellung des KI-Systems gegen Entgelt hinausgehenden Interessen an den verarbeiteten Daten (verfolgt dieser also in datenschutzrechtlicher Hinsicht keine eigenen Zwecke) und sieht sich dieser gegenüber dem Nutzer als weisungsgebunden, ist hier vielmehr die Eigenschaft eines Auftragsverarbeiters naheliegend. Dies stellt bei SaaS den Regelfall dar und scheint auch der derzeitigen Auffassung der maßgeblichen KI-Anbieter zu entsprechen, die für diese Zwecke meist Auftragsverarbeitungsverträge auf ihren Webseiten zur Verfügung stellen.
Anders ist dies aber dann, wenn sich der KI-Anbieter umfassende Nutzungsrechte an den Input- und Output-Daten vorbehält und die Daten bspw. für eine weitere Optimierung des KI-Modells nutzen möchte. Zumindest für diese eigenen Zwecke des KI-Anbieters ist dieser datenschutzrechtlich verantwortlich.
Umstritten ist dagegen, ob dies den KI-Anbieter automatisch insgesamt zum Verantwortlichen für die gesamte Datenverarbeitung macht. Dies wird nach einer Auffassung bejaht, da ein Verantwortlicher nie gleichzeitig Auftragsverarbeiter sein könne. Nach der anderen Auffassung ist dagegen nach den einzelnen Verarbeitungszwecken zu differenzieren, sodass der KI-Anbieter zwar für die Nutzung der Daten zu eigenen Zwecken Verantwortlicher wäre, für die allgemeine Verarbeitung der Input-Daten zu dem (fremden) Zweck, dem Nutzer ein Verarbeitungsergebnis zu präsentieren, aber weiterhin Auftragsverarbeiter wäre. Nur für die Verarbeitung der Daten zu eigenen Zwecken „verlässt“ der KI-Anbieter mithin seine Eigenschaft als Auftragsverarbeiter.
Gemeinsame Verantwortlichkeit des Nutzers und des KI-Anbieters
Selbst wenn sowohl der Nutzer als auch der KI-Anbieter beide Verantwortliche im Sinne der DSGVO sind, bedeutet dies nicht zwingend, dass diese gemeinsame Verantwortliche im Sinne des Art. 26 DSGVO sind. Hierfür wäre nach dem Wortlaut von Art. 26 DSGVO erforderlich, dass beide Akteure gemeinsam die Zwecke und die Mittel der Verarbeitung festlegen – beide Verantwortliche müssten hierfür sozusagen an einem Strang ziehen und das gleiche wollen oder bezwecken.
Es ist jedoch davon auszugehen, dass dies nur selten der Fall ist. Vielmehr dürften sich die primären Interessenlagen der Parteien im Regelfall deutlich voneinander unterscheiden. Während das Interesse des Nutzers bei der KI-Nutzung in der Regel einzig darin besteht, einen Daten-Input zu einem Daten-Output verarbeiten zu lassen, den dieser anschließend für eigene Zwecke verwenden möchte, verfolgt der KI-Anbieter einerseits monetäre Zwecke (Durchführung des Vertrags mit dem Nutzer) und verlangt für die Generierung des Daten-Outputs daher in der Regel Lizenzgebühren (bspw. für die API-Nutzung), möchte andererseits aber auch sein Modell weiter optimieren und für zukünftige Kunden weiter trainieren. Dieses Interesse an einer kontinuierlichen Weiterentwicklung des KI-Modells ist dabei in der Regel nur dem KI-Anbieter zuzuschreiben, nicht aber auch dem Nutzer. Für eine Zurechnung zum Nutzer ist ohne weitere Anhaltspunkte jedenfalls nicht ausreichend, dass dieser von einer kontinuierlichen Verbesserung des Modells ebenfalls profitiert. Dies kann aber dann anders sein, wenn der KI-Anbieter und der Nutzer umfassend miteinander kooperieren oder der KI-Anbieter die KI eigens für den Nutzer entwickelt oder individualisiert.
Anders kann dies dann sein, wenn Nutzer und KI-Anbieter von Anfang an gemeinsam ein KI-Modell für spezifische Zwecke des Nutzers entwickeln und KI-Anbieter und Nutzer dabei gemeinsame Zwecke verfolgen, die seitens des KI-Anbieters über die Erbringung der angebotenen Dienstleistungen gegen Entgelt hinausgehen.
Datenschutzrechtliche Verantwortlichkeit bei Weiterverwendung des Daten-Outputs
Als Verarbeitungsergebnis gibt die KI bestimmte Informationen (den Daten-Output) aus, die mitunter personenbezogene Daten Dritter beinhalten können, entweder weil die entsprechenden Daten bereits im Input vorhanden waren oder aber diese Daten im Rahmen der Verarbeitung durch die KI dem Daten-Output hinzugefügt wurden. Über die (Weiter-)Verwendung dieses Daten-Outputs bestimmt in der Regel ausschließlich der jeweilige Nutzer. Mithin ist nur dieser datenschutzrechtlich Verantwortlicher für die Weiternutzung dieser Daten.
Besonderheiten bei „starken“ KI-Systemen
Sogenannte „starke“ KI-Systeme zeichnen sich durch ein hohes Maß an Autonomie aus. Selbstlernende Systeme entwickeln beispielsweise ihre Fähigkeiten selbstständig (weiter), so dass Entscheidungs- und Verarbeitungswege nicht mehr nachvollziehbar oder vorhersehbar sind.
Dies wirft die Frage auf, inwieweit bei „starken“ KI-Anwendungen ein Verantwortlicher überhaupt noch bestimmt werden kann. Mit zunehmender Autonomie der KI sinkt insofern auch der Einfluss des KI-Anbieters und Nutzers auf die Verarbeitungsvorgänge.
Vor dem Hintergrund dieser zunehmenden Autonomie von „starken“ KI-Anwendungen wird daher teilweise vertreten, dass eine detaillierte Kenntnis der Verarbeitungsvorgänge entscheidend ist und umgekehrt, dass fehlende Kenntnis auch die Verantwortlichen-Eigenschaft ausschließe, da zentrale Pflichten der Verantwortlichkeit wie die Aufstellung eines Verarbeitungsverzeichnisses nach Art. 30 DSGVO oder die Bereitstellung von Informationen an Betroffene nach Art. 13 f. DSGVO eine genaue Kenntnis der stattfindenden Datenverarbeitungen erfordern würden.
Dem steht jedoch die gegenteilige Auffassung gegenüber, wonach die fehlende Erklär- und Determinierbarkeit „starker“ KI nicht ohne Weiteres zur „Befreiung“ von der Verantwortlichkeit der zentralen Akteure führt, sondern „nur“ zu Schwierigkeiten und Herausforderungen bei der Umsetzung von zentralen Pflichten der Verantwortlichen. Dies wiederum ist aber ein inhärentes Problem komplexer Technologien, das – zumindest ein Stück weit – grundlegend in der DSGVO Berücksichtigung gefunden hat. So ist es in der DSGVO vorgesehen, dass zahlreiche Pflichten des Verantwortlichen und Rechte der Betroffenen einer Ermessensabwägung zugänglich sind – angefangen damit, dass es im Rahmen des Art. 14 Abs. 1 lit. e) DSGVO ausreichend ist, dass anstatt konkreter Datenempfänger nur die Kategorien von Datenempfängern genannt werden oder Informationen nach Art. 14 Abs. 5 lit. b) DSGVO nicht erbracht werden müssen, wenn dies im Einzelfall unmöglich oder unverhältnismäßig erscheint. Den verbleibenden „starren“ Verantwortlichenpflichten der DSGVO sind dagegen dergestalt zu begegnen, dass diese bereits im Rahmen der Entwicklung einer „starken“ KI berücksichtigt werden, der KI als die Rechte und Pflichten der DSGVO (ebenso wie anderer grundlegender Werte) bereits „in die Wiege gelegt“ werden (auch im Sinne von Privacy-by-Design).
Das Datenschutzrecht ist technologieneutral und findet auch auf KI Anwendung
KI ist (bereits vor Jahren) gekommen, um zu bleiben. Die nahezu wöchentlich neu entstehenden Geschäftsmodelle rund um KI zeigen die unglaublichen Möglichkeiten. Wie bei allen neuen Technologien muss das Datenschutzrecht aber als grundlegende Compliance-Anforderung berücksichtigt werden. Hierbei können sich im Einzelfall durchaus komplexe datenschutzrechtliche Fragestellungen ergeben. Für die Beurteilung der grundlegenden Frage der Verantwortlichkeit der beteiligten Akteure sollte dabei auf die einzelnen Verarbeitungshandlungen/-schritte sowie die konkreten Umstände bei der Nutzung der KI-System abgestellt werden. Je nach Anwendung und Funktionsweise des konkreten KI-Systems kann es auch notwendig sein, Auftragsdatenverarbeitungsverträge, Standardvertragsklauseln oder (im Ausnahmefall) Verträge zur gemeinsamen Datenverarbeitung abzuschließen, um DSGVO-Anforderungen zu erfüllen.
In unserem CMS-Blog halten wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen auf dem Laufenden. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge benachrichtigt. Im Rahmen dieser Blog-Serie sind bereits Beiträge erschienen zu Themen wie: Künstliche Intelligenz und der Journalismus der Zukunft; Endspurt für die Regulierung von KI; Verbotene Praktiken und Hochrisiko-KI-Systeme; Hochrisiko-KI-Systeme als regulatorischer Schwerpunkt; Pflichten entlang der Wertschöpfungskette und für Anbieter von Basismodellen; Transparenzpflichten, Rechte für Betroffene, AI Office und Sanktionen sowie Robo Advisor und zur Frage nach der Urheberschaft an KI-Werken. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
This article is also available in English.
*Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.
