Der CRA legt Cybersicherheitsanforderungen für Produkte mit digitalen Elementen fest, die auch für Hochrisiko-KI-Systeme von Bedeutung sind.
Am 1. August 2024 ist die KI-Verordnung (KI-VO) in Kraft getreten. Ihr Ziel ist es, Vertrauen in Künstliche Intelligenz (KI) zu schaffen und hiervon ausgehende Risiken für Gesundheit, Sicherheit und Grundrechte zu minimieren. Wesentlicher Regelungsgegenstand der KI-VO sind die sog. Hochrisiko-KI-Systeme, die beispielsweise in kritischen Infrastrukturen, in der Strafverfolgung oder bei der Bonitätsprüfung eingesetzt werden. Sie dürfen in der EU erst dann in den Verkehr gebracht werden, wenn sie bestimmte Anforderungen erfüllen, wozu insbesondere ein angemessenes Maß an Cybersicherheit gehört.
Regelungen zur Cybersicherheit finden sich darüber hinaus im Cyber Resilience Act (CRA), welcher am 10. Dezember 2024 in Kraft trat und sog. Produkte mit digitalen Elementen reguliert. Anders als die meisten bisherigen EU-Regelungen zur Cybersicherheit gilt der CRA nicht „unternehmensbezogen“ für bestimmte Sektoren wie Energie, Transport oder Finanzen, sondern „produktbezogen“ und branchenübergreifend für Produkte von allen Unternehmen. Mit dem CRA sollen Cybersicherheitsrisiken in vernetzten Soft- und Hardwareprodukten verringert werden. Der CRA enthält deswegen weitreichende Cybersicherheitsanforderungen über den gesamten Lebenszyklus von digitalen Produkten, die bei der Entwicklung und Herstellung, beim Inverkehrbringen sowie bis zum Ende der erwarteten Nutzungsdauer des Produkts beachtet werden müssen.
Hochrisiko-KI-Systeme und Produkte mit digitalen Elementen
Während die KI-VO insbesondere umfangreiche Compliance- und Transparenzanforderungen für Anbieter von Hochrisiko-KI-Systemen regelt, sieht der CRA umfassende Cybersicherheitsanforderungen und Transparenzpflichten für Hersteller, Einführer und Händler von Produkten mit digitalen Elementen vor.
Hochrisiko-KI-Systeme sind entweder eigenständige Produkte oder sie werden als Sicherheitskomponenten in sicherheitsrelevanten Produkten verwendet. Sie werden in sensiblen Bereichen, wie etwa in kritischen Infrastrukturen oder im Personalmanagement eingesetzt. Hochrisiko-KI-Systeme müssen so konzipiert sein, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit aufweisen, es muss eine menschliche Beaufsichtigung möglich sein, ein Risikomanagementsystem eingerichtet werden und zum Training verwendete Daten müssen gewissen Qualitätskriterien entsprechen. Zudem müssen Hochrisiko-KI-Systeme ein Konformitätsbewertungsverfahren durchlaufen, in der die Einhaltung der zahlreichen Anforderungen nach der KI-VO geprüft werden. Nur diejenigen Hochrisiko-KI-Systeme, die das Konformitätsbewertungsverfahren erfolgreich durchlaufen, erhalten ein CE-Kennzeichen und dürfen auf den Markt gebracht werden.
Ein Produkt mit digitalen Elementen hingegen ist gemäß Art. 3 Nr. 1 CRA „ein Software- oder Hardwareprodukt und dessen Datenfernverarbeitungslösungen, einschließlich Software- oder Hardwarekomponenten, die getrennt in den Verkehr gebracht werden“. Dabei muss es sich um ein Produkt handeln, das eine direkte oder indirekte logische oder physische Datenverbindung mit einem Gerät oder Netz einschließt. Diese Definition umfasst eine Vielzahl von digitalen Geräten und Softwarelösungen, von Endgeräten, wie Laptops und Smartphones, über Softwareprodukte bis hin zu Hardwarekomponenten wie Prozessoren oder Grafikkarten.
Der CRA unterscheidet dabei zwischen den verschiedenen Klassen von Produkten mit digitalen Elementen:
- „unkritische Produkte“, d.h. die Standard-Kategorie, z.B. Foto- oder Textverarbeitungsprogramme;
- „wichtige Produkte“, d.h. Produkte, die Kernfunktionen einer in Anhang III des CRA aufgeführten Produktkategorie aufweisen, wie z.B. Router, Betriebssysteme oder mit dem Internet verbundene Spielzeuge mit Funktionen der sozialen Interaktion (als „wichtige Produkte der Klasse I“) oder Firewalls (als „wichtige Produkte der Klasse II“); und
- „kritische Produkte“, d.h. die am strengsten regulierten Produkte, die in Anhang IV des CRA aufgelistet sind, wie z.B. Chipkarten oder Hardwaregeräte mit Sicherheitsboxen.
Für alle der vorgenannten Produktklassen muss ein Konformitätsbewertungsverfahren nach dem CRA durchgeführt werden. Allerdings unterscheiden sich dabei die Anforderungen an das Verfahren. Je kritischer die Produktklasse, desto höher sind die Anforderungen. Auch nach dem CRA erhalten nur Produkte, die das Konformitätsbewertungsverfahren erfolgreich durchlaufen haben, ein CE-Kennzeichen und dürfen auf den Markt gebracht werden.
Hochrisiko-KI-Systeme als Produkte mit digitalen Elementen
Da Hochrisiko-KI-Systeme in der Regel aus digitalen Softwarekomponenten bestehen und eine Datenverbindung mit einem Gerät oder Netz herstellen, können sie zugleich auch als Produkt mit digitalen Elementen im Sinne des CRA erfasst sein.
So kann z.B. ein Spielzeug mit integrierter KI-Komponente, welches über Funktionen zur sozialen Interaktion sowie über die Fähigkeit verfügt, mithilfe speziell konzipierter Software mit einem Netz oder anderen Gegenstand zu kommunizieren, sowohl als Hochrisiko-KI-System als auch als wichtiges Produkt mit digitalem Element der Klasse I eingestuft werden.
Ein weiteres Beispiel ist eine Firewall als Teil eines sicherheitsrelevanten Systems innerhalb der Wasserversorgung, die zur Gefahrenanalyse eine KI-Komponente verwendet und Daten auch entfernt in einer vom Hersteller konzipierten Cloud analysieren lässt. Die Firewall kann sowohl als Hochrisiko-KI-System als auch als wichtiges Produkt mit digitalem Element der Klasse II eingeordnet werden.
Ähnlich kann es sich bei einem KI-Recruiting-System verhalten, welches Lebensläufe analysiert und dabei auf Grundlage einer vom Hersteller konzipierten Software mit einem Netz kommuniziert. Ein solches System kann als Hochrisiko KI-System und zugleich als „unkritisches“ Produkt mit digitalem Element qualifiziert werden.
Cybersicherheit als Voraussetzung für das Konformitätsbewertungsverfahren von Hochrisiko-KI-Systemen
Hochrisiko-KI-Systeme sind häufig mit Netzwerken verbunden oder auf Cloud-basierte Dienste gestützt. Daher sind sie besonders anfällig für Cyberangriffe und müssen höchste Sicherheitsanforderungen erfüllen. Dementsprechend regelt Art. 15 KI-VO, dass Anbieter von Hochrisiko-KI-Systemen umfassende technische und organisatorische Maßnahmen zur Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit der Systeme vornehmen müssen. Dies ist u.a. eine Voraussetzung für das Konformitätsbewertungsverfahren für Hochrisiko-KI-Systeme.
Der Begriff der Cybersicherheit wird dabei unional durch den Cybersecurity Act, Verordnung (EU) 2019/881 (CSA) definiert, auf den auch in der KI-VO an verschiedenen Stellen (ErwG 78 KI-VO; Art. 42 Abs. 2 KI-VO) verwiesen wird. Auch der CRA bedient sich des Cybersicherheitsbegriffes des CSA (Art. 3 Nr. 3 CRA). Bei dem CSA handelt es sich um eine Mitte 2019 in Kraft getretene EU-Verordnung. Sie führte unter anderem einen Rahmen für die Sicherheitszertifizierung von Produkten der Informations- und Kommunikationstechnologie, wie Tablets oder Laptops, ein.
Gemäß Art. 2 Nr. 1 CSA fallen unter den Begriff der Cybersicherheit „alle Tätigkeiten, die notwendig sind, um Netz- und Informationssysteme, die Nutzer solcher Systeme und andere von Cyberbedrohungen betroffene Personen zu schützen“. Cybersicherheit zielt damit auf den Schutz von Netz- und Informationssystemen vor externen Cyberbedrohungen und umfasst dabei sowohl technische als auch organisatorische Maßnahmen mit Blick auf digitale Systeme und vernetzte physische Infrastrukturen.
Doppelte Durchführung von Konformitätsbewertungsverfahren nach der KI-VO und nach dem CRA nur zum Teil erforderlich
Da sowohl die KI-VO als auch der CRA jeweils die Durchführung von Konformitätsbewertungsverfahren für den Erhalt der erforderlichen CE-Kennzeichnung für das Hochrisiko-KI-System und das Produkt mit digitalen Elementen vorsehen, stellt sich die Frage, ob ein Hochrisiko-KI-System, welches zugleich ein Produkt mit digitalen Elementen darstellt, sowohl das Konformitätsbewertungsverfahren nach der KI-VO als auch das nach dem CRA durchlaufen muss.
Der europäische Gesetzgeber hat diese Konstellation erkannt und sie in Art. 12 CRA ausdrücklich geregelt. Gemäß Art. 12 Abs. 1 CRA gelten für Produkte mit digitalen Elementen, die zugleich als Hochrisiko-KI-Systeme sind, die Cybersicherheitsanforderungen nach Art. 15 KI-VO als erfüllt, wenn:
- das jeweilige Produkt die Cybersicherheitsanforderungen des Anhangs I CR-VO erfüllt;
- die Verfahren des Herstellers des jeweiligen Produkts den Anforderungen des Anhangs I Teil II CRA entsprechen; und
- die Verwirklichung des gemäß Art. 15 der KI-VO erforderlichen Cybersicherheitsniveaus in der gemäß CRA ausgestellten EU-Konformitätserklärung nachgewiesen wird.
Für die Durchführung des Konformitätsbewertungsverfahrens regelt Art. 12 CRA dabei Folgendes:
- Grundsatz nach Art. 12 Abs. 2 CRA: Das Konformitätsbewertungsverfahren für Hochrisiko-KI-Systeme, die zugleich Produkte mit digitalen Elementen sind, richtet sich grundsätzlich nach der KI-VO. Die gemäß der KI-VO zuständige Stelle, die die Konformität der Hochrisiko-KI-Systeme kontrolliert, soll das nach Art. 43 KI-VO einschlägige Konformitätsbewertungsverfahren durchführen und dabei zugleich die Prüfung der Konformität mit den Cybersicherheitsanforderungen des CRA übernehmen. Damit soll eine Doppelprüfung nach der KI-VO und dem CRA vermieden und die administrative Belastung sowohl für Unternehmen als auch Behörden reduziert werden.
- Ausnahme Art. 12 Abs. 3 CRA: Für „wichtige“ und „kritische“ Produkte mit digitalen Elementen, die zugleich auch Hochrisiko-KI-Systeme sind, ist die Durchführung nur des Konformitätsbewertungsverfahrens gemäß der KI-VO (iSv Art. 12 Abs. 2 CRA) nicht ausreichend, sofern es sich dabei lediglich um eine internen Konformitätsprüfung handelt. Soweit der CRA ein strengeres Kontrollverfahren vorsieht (externes Kontrollverfahren) bedarf es nämlich der zusätzlichen Durchführung des (strengeren) Konformitätsbewertungsverfahrens nach dem CRA. In diesen Fällen sollen die Konformitätsbewertungsverfahren für das Hochrisiko-KI-System, welches zugleich ein Produkt mit digitalen Elementen ist, nach der KI-VO und nach dem CRA getrennt laufen. Es soll damit gewährleistet werden, dass wichtige und kritische Produkte mit digitalem Element bezüglich der Cybersicherheit nicht nur einer internen Kontrolle nach der KI-VO unterliegen, sondern sich den für solche Produkte vorgesehenen strengeren Kontrollverfahren (externe Prüfung) nach dem CRA unterwerfen müssen.
Wichtige Produkte gemäß Anhang III des CRA (z.B. mit dem Internet verbundenen Spielzeuge als wichtige Produkte der Klasse I oder Firewalls als wichtige Produkte der Klasse II) sowie kritische Produkte gemäß Anhang IV CRA, die zugleich Hochrisiko-KI-Systeme sind und nach Art. 43 KI-VO „nur“ einer internen Kontrolle unterlägen, müssen daher bezüglich der Cybersicherheit nach dem in Art. 32 CRA geforderten und nicht nach dem durch Art. 43 KI-VO vorgegebenen Konformitätsbewertungsverfahren geprüft werden.
Geltung der Regelungen für Hochrisiko-KI-Systeme ab August 2026 und Geltung des Art. 12 CRA ab Dezember 2027
Mit der Regelung in Art. 12 CRA wird sichergestellt, dass Hochrisiko-KI-Systeme ein einheitliches und hohes Maß an Cybersicherheit – auch gemäß den Anforderungen des CRA – erreichen. Gleichzeitig wird eine effiziente und harmonisierte Konformitätsbewertung ermöglicht, was zu Rechtssicherheit sowie zu einer Reduzierung des administrativen und bürokratischen Aufwands führt.
Die relevanten Anforderungen der KI-VO für Hochrisiko-KI-Systeme finden grundsätzlich ab dem 2. August 2026 Anwendung. Die Regelungen des CRA (einschließlich Art. 12 CRA) werden vollständig am 11. Dezember 2027 Geltung erlangen. Unternehmen sollten die relevanten Vorgaben, insbesondere die einschlägigen Cybersichersicherheitsanforderungen, bereits jetzt in ihrer Produktentwicklung und -strategie berücksichtigen, um eine reibungslose Anpassung an die regulatorischen Anforderungen zu gewährleisten. Dies gilt für die Entwicklung und Vermarktung von sowohl Hochrisiko-KI-Systemen als auch von Produkten mit digitalen Elementen.
In unserem CMS-Blog halten wir Sie mit unserer Blog-Serie „Künstliche Intelligenz“ fortlaufend zu diesem Thema auf dem Laufenden. Sie können diese Blog-Serie über den RSS-Feed abonnieren und werden von uns über neue Beiträge benachrichtigt. Sehen Sie zudem gern: Eigene KI-Sprachmodelle von Unternehmen (cms.law).
Haben Sie Anregungen zu weiteren Themen rund um KI, die in unserer Blog-Serie „Künstliche Intelligenz“ nicht fehlen sollten? Schreiben Sie uns gerne über blog@cms-hs.com.
Unseren englischsprachigen Ausblick auf die KI-VO finden Sie hier: Looking ahead to the EU AI Act (cms.law).
