Der Entwurf gibt einen Einblick, wie die KI-VO in Deutschland umgesetzt werden könnte. Der Fokus liegt auf der Einrichtung der behördlichen Aufsichtsstruktur.
Am 1. August 2024 trat die Verordnung des Parlamentes Europäischen Parlamentes und Rates (EU) 2024/1689 (KI-VO) in Kraft, die harmonisierte Regeln für künstliche Intelligenz (KI) festlegt. Bis August 2025 müssen die Mitgliedstaaten die notwendigen Strukturen für die Marktüberwachung schaffen. Ein erster Referentenentwurf des KI-Marktüberwachungsgesetzes (KIMÜG-Entwurf) gibt nun Hinweise, wie Deutschland die Aufsichtsstruktur und die Behördenorganisation zur Umsetzung der KI-VO gestalten könnte – mit dem Ziel, eine innovationsfreundliche und bürokratiearme Umsetzung zu ermöglichen.
Dieser Blogbeitrag skizziert die wesentlichen Inhalte des KIMÜG-Entwurfs und beleuchtet zentrale Punkte des geplanten Umsetzungsgesetzes.
Aufsichts- und Behördenstruktur: Nutzung bestehender Strukturen und die Bundesnetzagentur als zentrale Instanz
Nach der KI-VO muss jeder Mitgliedstaat mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden einrichten oder benennen (Art. 70 Abs. 1 S. 1 KI-VO). Der KIMÜG-Entwurf sieht vor, dass die Behörden, die in vollharmonisierten Bereichen der Produktregulierung bereits zuständige Marküberwachungs- und notifizierende Behörde sind, zugleich im Bereich der KI-VO zuständige Behörde sind. Auch im Finanzdienstleitungsbereich wird die für die Finanzaufsicht bereits bestehende Behörde zuständig. Durch eine Zukunftsklausel gilt diese Zuständigkeitsverteilung zudem in Bereichen, in denen entsprechende europäische Harmonisierungsvorschriften in der Zukunft erst noch erlassen werden.
Für alle Bereiche, für die es keine bestehende Aufsichtsbehörde gibt, wird die Bundesnetzagentur für Elektrizität, Gas, Telekommunikation, Post und Eisenbahnen (Bundesnetzagentur) zuständige Marktüberwachungsbehörde und notifizierende Behörde. Die Bewertung und Überwachung von Konformitätsbewertungsstellen soll von der Deutschen Akkreditierungsstelle übernommen werden, soweit die Bundesnetzagentur notifizierende Behörde ist.
Durch diese Regelung sollen bestehende Strukturen genutzt und Doppelstrukturen vermieden werden. Gleichzeitig führt dies jedoch zu einer Vielzahl von zuständigen Behörden. Deshalb formuliert der KIMÜG-Entwurf Vorschriften zur Zusammenarbeit und Kooperation der zuständigen Markaufsichtsbehörden und sieht die Beteiligung weiterer Behörden vor, soweit ihre Zuständigkeiten tangiert sind (insbesondere die Datenschutzbehörden, das Bundesamt für Sicherheit in der Informationstechnik und das Bundeskartellamt).
Auch soll durch die Bündelung der Ressourcen und Kompetenzen bei der Bundesnetzagentur einem zentralen Problem bei der Umsetzung der KI-VO begegnet werden: dem KI-Fachkräftemangel. Die Bundesnetzagentur soll die anderen Behörden unterstützen und ihnen ihre Ressourcen zur Verfügung stellen. Dadurch soll eine Konkurrenz um KI-Fachkräfte und Ressourcen zwischen den Behörden vermieden werden. Zudem soll eine möglichst einheitliche und praktikable Auslegung und Anwendung der KI-VO sichergestellt werden.
Inhaltlich umfasst die Marktaufsicht insbesondere die Aufsicht über verbotene KI-Praktiken, Hochrisiko KI-Systeme und Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme, die sich aus der KI-VO ergeben. Zusätzlich kommt die Innovationsförderung als neuer Zuständigkeitsbereich für die Bundesnetzagentur hinzu.
Die Aufsicht über KI-Modelle mit allgemeinem Verwendungszweck fällt hingegen in den Zuständigkeitsbereich des EU AI Office, das die europaweite Überwachung und Koordination sicherstellen soll.
Der KIMÜG-Entwurf kommt ferner den Pflichten der Mitgliedstaaten, die sich aus der KI-VO ergeben nach, indem er die im Folgenden erläuterten Aufgaben und Zuständigkeiten der Bundesnetzagentur vorsieht:
Zentrales Koordinierungs- und Kompetenzzentrum (KoKIVO)
Der KIMÜG-Entwurf sieht die Einrichtung eines zentralen Koordinierungs- und Kompetenzzentrums (KoKIVO) bei der Bundesnetzagentur vor. Sie wird damit Koordinierungsstelle für die Zusammenarbeit aller zuständigen Marküberwachungsbehörden und als Kompetenzzentrum zentraler Ansprechpartner und Informationsstelle sowohl für die weiteren zuständigen Behörden als auch für Anbieter und Betreiber von KI-Systemen und sonstige Adressaten der KI-VO, insbesondere kleine und mittlere Unternehmen (KMU) und Start-ups. Außerdem wird sie „wichtiger Akteur“ bei Normung und Aufstellung von Verhaltenskodizes und sie wird Innovationszentrum.
Anbieter und Betreiber von KI-Systemen und sonstige Adressaten der KI-VO sollen sich nun an die Bundesnetzagentur wenden können, um Informationen und Anleitungen zur Anwendung der KI-VO zu erhalten. Auch soll die Bundesnetzagentur zur Innovationsförderung beitragen. Dazu gehören Sensibilisierungs- und Schulungsmaßnahmen zur Anwendung der Verordnung, die auf die Bedürfnisse der Betreiber, insbesondere von KMU und Start-ups, zugeschnitten sind. Damit kommt der KIMÜG-Entwurf der Aufgabe aus Art. 62 KI-VO nach, insbesondere KMU einschließlich Start-ups im Bereich KI zu unterstützen.
Unabhängige Marküberwachungskammer (UKIM)
Bei der Bundesnetzagentur soll eine unabhängige Marktüberwachungskammer (UKIM) speziell für KI-Hochrisikosysteme, die von Strafverfolgungs-, Einwanderungs- oder Asylbehörden in Betrieb genommen werden sollen, eingerichtet werden. Diese ist dabei völlig unabhängig von der Bundesnetzagentur, kann aber gleichzeitig auf ihre Ressourcen zugreifen.
Damit wurde kein Gebrauch gemacht von der in der KI-VO genannten Alternative, diese Teilaufgabe auf die Datenschutzbehörde zu übertragen. Begründet wird dies sowohl mit der Vermeidung von Abgrenzungsschwierigkeiten, insbesondere unklare Zuständigkeiten und auseinanderfallende Ansprechpartner für Unternehmen und Verwaltung, als auch mit der Sicherstellung einer einheitlichen Auslegung und Anwendung der KI-VO.
Zentrale Anlaufstelle
Die Bundesnetzagentur wird die zentrale Anlaufstelle gem. Art. 70 Abs. 2 S. 3 KI-VO und damit der zentrale deutsche Ansprechpartner auf Ebene der Mitgliedstaaten und der Union bezüglich der Anwendung der KI-VO. Auch wird sie damit Koordinatorin in der Schnittstelle zu dem EU AI Office.
Sie soll von allen zuständigen Marktüberwachungsbehörden Informationen über ihre jeweiligen Aufgaben und Ansprechpersonen erhalten und diese öffentlich zugänglich machen und ist zuständig für die Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Union, die sich auf der KI-VO ergeben und für die Beantwortung von Anfragen der Kommission.
Zentrale Beschwerdestelle
Die Bundesnetzagentur wird gleichzeitig die zentrale Beschwerdestelle. Nach Art. 85 der KI-VO sind Beschwerden wegen eines Verstoßes gegen die KI-VO bei der betreffenden Marküberwachungsbehörde einzureichen. Dies wird für den Beschwerdeführer durch den KIMÜG-Entwurf vereinfacht, indem dieser seine Beschwerde zentral bei der Bundesnetzagentur einreichen kann, die die Zuständigkeitsprüfung übernimmt und die Beschwerde ggf. an die zuständige Marktüberwachungsbehörde weiterreicht.
Innovationsförderung: KI-Reallabore
Ein Ziel der KI-VO und damit Aufgabe der Mitgliedstaaten, die durch den KIMÜG-Entwurf der Bundesnetzagentur übertragen wird, ist die Innovationsförderung. Nach Art. 57 KI-VO müssen Mitgliedstaaten mindestens ein KI-Reallabor einrichten und betreiben für die Entwicklung, das Training, das Testen und die Validierung innovativer KI-Systeme unter Realbedingungen.
Die Bundesnetzagentur ist nach dem KIMÜG-Entwurf zuständig für Einrichtung und den Betrieb dieser Reallabore. Der Zugang soll dabei vorrangig KMU, einschließlich Start-ups, die ihren Sitz oder eine Zweigniederlassung in der Union haben, und die Voraussetzungen und Auswahlkriterien erfüllen, gewährt werden. Die Überwachung der Durchführung der Tests obliegt der jeweils zuständigen Marküberwachungsbehörde.
Weitere Regelungen
Schließlich regelt der KIMÜG-Entwurf die Anwendung des Gesetzes über Ordnungswidrigkeiten für Bußgelder bei Verstößen gegen die KI-VO und legt hier erneut die Bundesnetzagentur als zuständige Verwaltungsbehörde fest und regelt nochmal explizit die Aufbewahrungspflichten aus Art. 18 Abs. 1 der KI-VO für Anbieter.
Ausblick: Umsetzung des KI-Marktüberwachungsgesetzes
Der Referentenentwurf des KI-Marktüberwachungsgesetzes bietet eine solide Grundlage für die Umsetzung der KI-VO in Deutschland und verfolgt einen durchdachten Ansatz, der Effizienz, Innovation und Praxistauglichkeit miteinander verbindet. Die vorgeschlagene zentrale Rolle der Bundesnetzagentur und die Nutzung bestehender Strukturen sind vielversprechend, um klare Verantwortlichkeiten zu schaffen und insbesondere KMU sowie Start-ups effektiv zu unterstützen. Dennoch bleibt abzuwarten, ob und in welcher Form dieser Entwurf letztlich umgesetzt wird.
Dies gilt umso mehr vor dem Hintergrund der anstehenden Neuwahlen in Deutschland am 23. Februar 2025, die möglicherweise Einfluss auf den weiteren Verlauf des Gesetzgebungsverfahrens haben könnten. Zudem muss die Benennung der zuständigen Behörden bis zum 2. August 2025 erfolgen, weshalb ein zügiges Inkrafttreten des Gesetzes erforderlich ist.
In unserem CMS-Blog halten wir Sie mit unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend zu diesem Thema auf dem Laufenden. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge benachrichtigt. Im Rahmen dieser Blog-Serie sind bereits Beiträge erschienen zu Themen wie: Datenschutz und KI: Datenschutzbehörden beantworten wichtige Fragen; UPDATE – GPAI-Modelle und Urheberrecht: Zweiter Entwurf eines Praxisleitfadens veröffentlicht; KI-Kompetenz gemäß KI-VO als zentraler Bestandteil der KI-Compliance im Unternehmen; Viel hilft viel (?): Die KI-Governance Struktur nach der KI-VO. Sehen Sie zudem gern: KI – ein Aus- und Rückblick auf wichtige Rechtsentwicklungen.
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
* Gemeint sind Personen jeder Geschlechtsidentität. Um der leichteren Lesbarkeit willen wird im Beitrag die grammatikalisch männliche Form verwendet.