Ob die KI-VO in ihrer aktuellen Fassung, in der nun auch ausdrückliche Rechte Betroffener vorgesehen sind, verabschiedet wird, soll sich Ende des Jahres zeigen.
Der Anwendungsbereich des Entwurfs des Gesetzes über Künstliche Intelligenz (KI-Verordnung, AI Act) ist weit und auch generative KI wird grundsätzlich erfasst. Während für die Entwicklung und den Einsatz aller KI-Systeme allgemeine Prinzipien aufgestellt werden, können KI-Systeme je nach Risikoeinstufung als Verbotene Praktiken ganz untersagt werden oder als Hochrisiko-KI-Systeme umfangreichen Anforderungen unterliegen und Pflichten für Anbieter,* Anwender, Einführer, Händler und sonstige Beteiligte in der KI-Wertschöpfungskette, einschließlich Anbieter von Basismodellen nach sich ziehen.
Unabhängig von der Einstufung eines KI-Systems als Hochrisiko-KI-System können darüber hinaus Transparenzpflichten gelten. Anbieter und Anwender anderer KI-Systeme können sich außerdem freiwilligen Verhaltenskodizes anschließen.
Transparenzpflichten für bestimmte KI-Systeme
Für bestimmte KI-Systeme gelten – unabhängig von einer Klassifizierung als Hochrisiko-KI-System – Transparenzpflichten für Anbieter und Anwender (Art. 52), die in der Verhandlungsposition des Parlaments konkretisiert und erweitert werden.
Transparenzpflichten für mit Menschen interagierende oder Emotionen und Merkmale erkennende KI-Systeme
Bei einer Interaktion von Menschen mit KI-Systemen (z.B. Chatbots oder persönliche Assistenten) oder im Falle, dass Emotionen oder Merkmale durch automatisierte Mittel erkannt werden, müssen die betroffenen natürlichen Personen zeitnah, klar und verständlich darüber informiert werden.
Soweit angemessen und relevant, soll bei interagierenden KI-Systemen auch angegeben werden, welche Funktionen von der KI wahrgenommen werden, wer für Entscheidungsprozesse verantwortlich ist und welche Rechtsmittel einem Betroffenen nach EU-Recht und nationalem Recht gegen die Anwendung solcher Systeme zustehen, einschließlich des Erklärungsrechts für Betroffene.
Die Transparenzpflichten gelten nicht, wenn das jeweilige KI-System gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassen ist.
Transparenzpflichten für generative KI-Systeme erfassen nun auch Chatbots
Der Anwender eines generativen KI-Systems, das Inhalte generiert oder manipuliert, die fälschlicherweise den Anschein von Authentizität oder Wahrhaftigkeit erwecken und in denen Personen ohne ihre Zustimmung dargestellt werden, die scheinbar Dinge sagen oder tun, die sie nicht gesagt oder getan haben (deep fakes), muss in angemessener, rechtzeitiger, klarer und sichtbarer Weise offenlegen, dass die Inhalte künstlich generiert oder manipuliert wurden, und, wenn möglich, den Namen der natürlichen oder juristischen Person nennen, die sie generiert oder manipuliert hat. Inhalte müssen unter Berücksichtigung des allgemein anerkannten Stands der Technik und einschlägigen harmonisierten Normen und Spezifikationen in einer Weise gekennzeichnet werden, die darüber informiert, dass der Inhalt nicht authentisch ist, und die für den Empfänger dieses Inhalts deutlich sichtbar ist.
Während der Verordnungsvorschlag nur generative KI im Hinblick auf Audio- oder visuelle Inhalte erfasst hat, wird in der aktuellen Fassung ausdrücklich Text als generierter oder manipulierter Inhalt genannt. Die Transparenzpflicht gilt daher nun auch für Texte, die mit Hilfe von Chatbots oder vergleichbaren Anwendungen erstellt wurden.
Die Transparenzpflichten werden eingeschränkt, wenn die generative KI gesetzlich zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten zugelassen ist oder in Ausübung von Grundrechten wie das Recht auf freie Meinungsäußerung und Freiheit der Kunst und Wissenschaft erforderlich ist. In der aktuellen Fassung wird die Transparenzpflicht für die Nutzung von Inhalten generativer KI im Zusammenhang mit kreativen, satirischen, künstlerischen, Werken oder Programmen steht oder in Videospielen eingeschränkt. In diesen Fällen muss nur in klarer und sichtbarere Weise, die die Anzeige des Werks nicht behindert, auf das Vorhandensein generierten oder manipulierten Inhalts, und gegebenenfalls auf geltende Urheberrechte, hingewiesen werden.
Die Informationen müssen jeweils spätestens zur Zeit der ersten Interaktion oder ersten Auseinandersetzung mit den Inhalten bereitgestellt werden. Im Hinblick auf besonders schutzbedürftige Personen wie Kinder oder Menschen mit Behinderung müssen unter Umständen Interventions- oder Kennzeichnungsprozesse umgesetzt werden.
Freiwillige Verhaltenskodizes für Anbieter anderer KI-Systeme
Die KI-Verordnung enthält außerdem die Grundlagen zur Schaffung von freiwilligen Verhaltenskodizes, unter denen die Anbieter von KI-Systemen, die kein hohes Risiko darstellen, die zwingend vorgeschriebenen Anforderungen an Hochrisiko-KI-Systeme freiwillig anwenden oder selbst Verhaltenskodizes festlegen und umsetzen können. Diese Kodizes können auch freiwillige Verpflichtungen beispielsweise im Hinblick auf die ökologische Nachhaltigkeit, den Zugang für Personen mit Behinderungen, die Beteiligung von Interessenträgern an Entwurf und Entwicklung von KI-Systemen sowie die Diversität des Entwicklungsteams enthalten.
Keine Pflichten für Open Source Entwickler
In der Verhandlungsposition des Parlaments werden als Open Source verfügbare Komponenten von KI-Modelle nicht von der KI-Verordnung erfasst, es sei denn, dass sie von einem Anbieter als Teil eines Hochrisiko-KI-Systems oder eines verbotenen KI-Systems in den Verkehr gebracht oder in Betrieb genommen werden (Erwägungsgrund 12a, b, und c, Art. 2 Abs. 5e). Weder die kollaborative Entwicklung von Open-Source-KI-Komponenten noch deren öffentliche Bereitstellung stellen dabei ein Inverkehrbringen oder ein Inbetriebnehmen dar, es sei denn, die Bereitstellung wird monetarisiert (z.B. Entgelt für Bereitstellung der Komponente, für technische Unterstützungsdienstleistungen, für Bereitstellung einer Softwareplattform, über die andere entgeltliche Dienste angeboten werden) oder nur gegen die Bereitstellung personenbezogener Daten angeboten. Entwickler von Open-Source-KI-Komponenten unterliegen damit nicht den Pflichten der KI-Verordnung für Anbieter oder andere Beteiligte der Wertschöpfungskette.
Rechte für Betroffene
Da Rechte und Freiheiten natürlicher oder juristischer Personen und Gruppen durch KI-Systeme erheblich beeinträchtigt werden können, hat das Parlament den Verordnungsvorschlag der Kommission um Melde- und Rechtsbehelfsmechanismen (Erwägungsgrund 84a, Art. 68 a, b) und ein Recht auf Erklärung (Erwägungsgrund 84b, Art. 68 c) ergänzt.
Betroffene (affected persons) können der zuständigen Behörde melden, wenn sie der Ansicht sind, dass ein KI-System in Bezug auf den jeweiligen Betroffenen die KI-Verordnung verletzt, und können eine Beschwerde gegen die Anbieter oder Anwender von KI-Systemen einreichen (Art. 68a.). Gegen Entscheidungen der Behörde soll den Betroffenen ein weiteres Rechtsmittel zustehen, über das vor Gericht entschieden wird.
Darüber hinaus steht Betroffenen, hinsichtlich derer eine Entscheidung von Anwendern auf der Basis von Ergebnissen eines Hochrisiko-KI-Systems getroffen wurde, von der sie sich in Gesundheit, Sicherheit, Grundrechten, sozial-ökonomischem Wohlbefinden oder anderen Rechten unter der KI-Verordnung beeinträchtigt fühlen, ein Recht auf Erklärung gegenüber dem Anbieter zu (Art. 68c). Der Anwender soll darlegen, welche Rolle das KI-System in der Entscheidungsfindung gespielt hat und dabei die Fachkenntnisse und den Wissensstand eines durchschnittlichen Verbrauchers berücksichtigen.
Sanktionen bei Verstößen gegen die KI-Verordnung
Die Mitgliedsstaaten sollen im Einzelnen Strafen festlegen, die gegen Akteure (operator), sprich Anbieter, Anwender, Bevollmächtigte, Einführer und Händler (Art. 3 Nr. 8), verhängt werden sollen, wenn sie die Bestimmungen der KI-Verordnung verletzen (Art. 71). Interessen von Kleinanbietern und Start-ups sowie deren wirtschaftliches Überleben sollen dabei besondere Berücksichtigung finden.
Im Hinblick auf Bußgelder wurde das maximale Bußgeld in der aktuellen Fassung der KI-Verordnung noch einmal erhöht, insgesamt wurde die Höhe der Strafen innerhalb der einzelnen Kategorien aber herabgesetzt und die Einstufung verändert:
- Verstoß gegen Verbotene Praktiken: Verstöße gegen Art. 5 können nun mit Bußgeldern von bis zu EUR 40 Mio. oder 7 % des weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Jahr sanktioniert werden (zuvor EUR 30 Mio. bzw. 6 %).
- Verstoß gegen die Anforderungen an Datenqualität und Transparenz bei Hochrisiko-KI-Systemen: Verstöße mit Anforderungen an die Datenqualität des Art. 10 werden nun nicht mehr gleichrangig mit Verstößen gegen Verbotene Praktiken sanktioniert, sondern gemeinsam mit Verstößen gegen die Transparenzpflichten des Art. 13 mit Bußgeldern in Höhe von EUR 20 Mio. oder 4 % des weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Jahr bedroht.
- Verstöße gegen sonstige Pflichten und Anforderungen der KI-Verordnung: Verstoßen KI-Systeme oder Basismodelle gegen andere Anforderungen oder Pflichten der KI-Verordnung als die Art. 5, 10 und 10, sollen mit Bußgeldern von bis zu EUR 10 Mio. oder 2 % des weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Jahr vorgesehen werden. Hierzu zählen etwa auch Verstöße gegen die Transparenzpflichten des Art. 52 (zuvor EUR 20 Mio. bzw. 4 %).
- Falsche, unvollständige oder irreführende Informationen: Werden Behörden falsche, unvollständige oder irreführende Informationen zur Verfügung gestellt, gibt es Bußgelder von bis zu EUR 5 Mio. oder 1 % des weltweiten Jahresumsatzes eines Unternehmens im vorangegangenen Jahr (zuvor EUR 10 Mio. bzw. 2 %).
Einrichtung eines European Artifical Intelligence Office
Die KI-Verordnung sieht die Errichtung des European Artifical Intelligence Office (AI Office) vor. Nach der Verhandlungsposition des Parlamentes soll das AI Office eine eigenständige Rechtspersönlichkeit und unabhängige Institution der EU mit Sitz in Brüssel sein (Art. 56 ff). Zu den Aufgaben des AI Office werden insbesondere die Überwachung und Sicherstellung der Anwendung der KI-Verordnung, Koordinationen und Abstimmungen mit den Mitgliedsstaaten und zuständigen Behörden, Ausgabe von jährlichen Berichten über die Umsetzung der KI-Verordnung und Empfehlungen hinsichtlich Verbotenen Praktiken und Hockrisiko-KI-Systemen an die Kommission.
Ob sich die aktuelle Fassung der KI-Verordnung durchsetzt, bleibt abzuwarten
Im Hinblick auf den weiten Anwendungsbereich der KI-Verordnung und die komplexen und umfangreichen Anforderungen und Pflichten könnte die KI-Verordnung zu erheblichen Belastungen, insbesondere für Start-ups und kleinere Unternehmen, führen. Befürchtet wird, dass dadurch die Innovationskraft der EU geschwächt und ihre Wettbewerbsfähigkeit gegenüber anderen Standorten beeinträchtigt wird. Außerdem wird kritisiert, dass europäische Unternehmen im weltweiten Wettbewerb im Vergleich zu Ländern mit flexibleren oder weniger strengen regulatorischen Vorgaben durch die KI-Verordnung benachteiligt werden.
Ob in diesem Zusammenhang die Einrichtung von regulatorischen Sandboxen (KI-Reallabore) durch die Mitgliedsstaaten (Art. 53) und weitere Maßnahmen im Hinblick auf kleine und mittelständische Unternehmen und Start-ups (Art. 55) ihrem Ziel der Innovationsförderung gerecht werden, bleibt abzuwarten. Kleinen und mittelständischen Unternehmen und Start-ups soll etwa bei Erfüllung der entsprechenden Voraussetzungen vorrangig Zugang zu KI-Reallaboren (Sandbox) gewährt werden, es sollen Kommunikationskanäle zur Orientierung und Fragen bzgl. der KI-Verordnung eingerichtet, geringere Gebühren bei der Konformitätsbewertung festgesetzt (Art. 55) und bei Sanktionen die Interessen von Kleinanbietern und Start-ups sowie deren wirtschaftliches Überleben berücksichtigt werden (Art. 71).
Mit der aktuellen Fassung in der Verhandlungsposition des Parlaments schafft die KI-Verordnung in einigen Punkten mehr Klarheit. Ob sich diese Fassung durchsetzt und wie die KI-Verordnung und ihre Anforderungen und Pflichten in der finalen Version aussehen, wird sich voraussichtlich Ende des Jahres zeigen.
Auch vor der Rechtsberatung macht KI keinen Halt. Dies hat CMS bereits früh erkannt: Wie künstliche Intelligenz die Arbeit in Kanzleien verändert (cmshs-bloggt.de). Auf unserer Innovationen-Homepage und in unserem CMS To Go Podcast „Einfach.Innovativ“ erhalten Sie weitere Informationen.
In unserem CMS-Blog halten wir Sie in unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend mit aktuellen Beiträgen zu diesen Themen auf dem Laufenden. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge benachrichtigt. Im Rahmen dieser Blog-Serie sind bereits Beiträge erschienen zu Themen wie: Künstliche Intelligenz und der Journalismus der Zukunft; Endspurt für die Regulierung von KI; Verbotene Praktiken und Hochrisiko-KI-Systeme; Hochrisiko-KI-Systeme als regulatorischer Schwerpunkt; Pflichten entlang der Wertschöpfungskette und für Anbieter von Basismodellen; Transparenzpflichten, Rechte für Betroffene, AI Office und Sanktionen sowie Robo Advisor. Weitere Informationen finden Sie zudem auf unserer Insight-Seite: Implikationen für Künstliche Intelligenz und Recht | CMS Deutschland.
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
*Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.
