Parallelen zwischen Maschinen-Richtlinie und KI-Verordnung
Künstliche Intelligenz wird häufig noch als IT-Software mit erweiterten Fähigkeiten assoziiert. Denn im Alltag ist Sie uns vorwiegend in Gestalt eines Chatbots, Übersetzungsprogrammes oder zur Bildbearbeitung zugegen. Dabei umfasst künstliche Intelligenz sehr viel mehr Aspekte – moderne KI-Agenten finden ihre Ursprünge neben der Computertechnologie in sieben weiteren Wissenschaften wieder, darunter auch die Kybernetik [1]. Weitet man also die Perspektive, weg vom nicht-physischen Software-Agenten, hin zum physischen Objekt, erscheint die Betrachtung von KI-Agenten als Maschinen wesentlich treffender.
Für das Inverkehrbringen von Maschinen gelten im Europäischen Wirtschaftsraum bereits striktere Regeln. Zur Gewährleistung der Produktsicherheit werden in der Maschinenrichtlinie (MRL 2006/42/EG) Verfahren zur Risikobewältigung beschrieben, um Maschinen unbedenklich und absolut sicher für deren Anwender zu gestalten. Die etablierte MRL zählt ebenso wie die neue KI-Verordnung (KI-VO (EU) 2024/1689) zu den EU-Harmonisierungsrechtsvorschriften (mitunter als „CE-Richtlinen“ oder „CE-Verordnungen“ bekannt). Mit obiger Betrachtungsweise sollen anhand von sieben Fragen Parallelen zwischen MRL und KI-VO dargelegt werden.
1. Was ist eigentlich eine CE-Richtlinie und warum ist sie wichtig?
Als verbindliche Rechtsvorschriften der Europäischen Union stellen CE-Richtlinien bzw. CE-Verordnungen sicher, dass Produkte innerhalb des Europäischen Wirtschaftsraums grundlegende Sicherheits-, Gesundheits- und Umweltschutzanforderungen erfüllen [2]. CE steht dabei für “Conformité Européenne” bzw. „Europäische Konformität“. Diese muss für eine Vielzahl von Produkten, darunter Elektrogeräte, Medizinprodukte oder auch Spielzeug nachgewiesen werden. Jede Produktgruppe unterliegt spezifischen CE-Richtlinien, wie beispielsweise elektrische Geräte konform zur Niederspannungsrichtlinie ausgeführt werden müssen. Eine CE-Kennzeichnung signalisiert, dass ein Produkt spezifischen Anforderungen genügt und ohne Bedenken in den Warenverkehr gebracht werden darf.
Im Bereich der Maschinensicherheit dient die CE-Kennzeichnung nicht nur dem Schutz der Endanwender, sondern regelt mithilfe von Richtlinien und Normen die Einhaltung von Qualitätsstandards schon während der Produktentwicklung. Besonders in risikoreichen Sektoren ist eine normkonforme Ausführung essenziell, um Unfälle und Schäden für die Nutzer bestmöglich zu verhindern.
2. Wie funktioniert die CE-Kennzeichnung bei Maschinen?
Eine Konformitätsbewertung erfolgt nach einem klar definierten Verfahren, welches die Einhaltung sämtlicher relevanter Sicherheitsanforderungen gewährleistet. Zunächst obliegt es dem Hersteller, eine umfassende Risikobeurteilung durchzuführen. Dabei wird analysiert, welche Gefahrenpotenziale das Produkt im Laufe seines Lebenszyklus für den Nutzer in sich birgt. Diese Risikobewertung bildet die Grundlage für die Entscheidung, welche Sicherheitsmaßnahmen in den Konstruktionsprozess integriert werden müssen.
Hilfreiche Orientierung bieten dabei sogenannte harmonisierte Normen. Solche technischen Standards sind von der Europäischen Kommission offiziell anerkannt, da Sie den Vorgaben der jeweiligen CE-Richtlinie entsprechen. Die Einhaltung dieser Normen legt die sogenannte „Konformitätsvermutung“ nahe und erleichtert den Herstellern den Nachweis der gesetzlichen Anforderungen.
Standards mit Bezug zur Maschinenrichtlinie klassifizieren sich in A-, B- und C-Normen. A-Normen, wie etwa die ISO 12100, regeln allgemeine Grundsätze des Risikomanagements. Sie legen auch fest, wie Gefahren identifiziert, bewertet und minimiert werden können. Die ISO 13849 ist ein Beispiel für eine B-Norm, welche besondere Aspekte für sicherheitsrelevante Steuerungssysteme etwa zur zuverlässigen Not-Abschaltung von Maschinen spezifiziert. C-Normen hingegen richten sich an spezifische Maschinentypen und beinhalten detaillierte Anforderungen für deren sichere Konstruktion und Nutzung (z.B. EN 12717 für Sicherheit von Werkzeugmaschinen – Bohrmaschinen). Der Gebrauch solcher Normen stellt den notwendigen Schutz vor mechanischen, elektrischen und anderen Gefahren sicher. Zur Unterstützung des rechten Normengebrauchs werden häufig Software-Tools wie z.B. SISTEMA eingesetzt (siehe Abbildung 1).
Abbildung 1: Screenshot SISTEMA – Tool zur Dokumentation und Berechnung von Sicherheitsfunktionen [3]
Am Ende des Bewertungsprozesses darf der Hersteller eine schriftliche Konformitätserklärung ausstellen und die CE-Kennzeichnung sichtbar am Produkt anbringen. Nur bei besonders gefährlichen Produkten wie Kreissägen oder Pressen, muss eine Zertifizierung durch eine notifizierte Stelle ergänzt werden.
3. Was kennzeichnet den KI-VO als „CE-Richtlinie“ für Künstliche Intelligenz?
Der KI-Verordnung ist im Kontext der europäischen Digitalisierungsstrategie entstanden. Obwohl auch andere Erlassungsformen in Betracht kamen, wurde sich auf eine europäische Verordnung im Stile einer Produktrichtlinie geeinigt. Als Vorteile ergaben sich zum einen einheitliche Standards für KI-Systeme zur Harmonisierung des EU-Binnenmarktes sowie Rechtssicherheit für Hersteller durch Konformitätsbewertungen. Zum anderen trägt die Vorschrift einen risikobasierten Bewertungsansatz inne, der sektorübergreifend angewandt werden kann.
KI-Anwendungen werden gemäß KI-VO in verschiedene Risikokategorien eingeteilt. Für die Gruppe der sogenannten „Hochrisiko-KI-Systeme“ muss die CE-Konformität nachgewiesen werden. Dazu zählen Anwendungen in sicherheitsrelevanten Komponenten von Maschinen oder aber auch Rekrutierungssysteme zur Vorauswahl von Bewerbern. Hierfür sind strenge Vorgaben in Bezug auf Sicherheit oder Erklärbarkeit zu erfüllen. Ähnlich wie bei der Maschinenrichtlinie wird auch von der KI-VO eine Risikobeurteilung abverlangt. Hersteller müssen nachweisen, dass ihre Systeme potenzielle Gefahren für Nutzer minimieren. Für „Hochrisiko-KI-Systeme“ gelten also analoge Vorgehensweisen wie für CE-konforme Maschinen: eine schriftliche Konformitätserklärung ist zu verfassen und eine CE-Kennzeichnung anzubringen [4].
4. Wie könnte eine Zertifizierung von KI-Systemen nach dem KI-VO aussehen?
CE ist eine Selbsterklärung des Herstellers. Voraussetzung ist aber die Implementierung eines zertifizierten Managementsystems. Höchstwahrscheinlich wird sich dabei als Leitlinie die Norm ISO 42001 etablieren, welche auch als „ISO 9001 der KI-Industrie“ betrachtet werden kann.
Für bestimmte Hochrisiko-KI-Systeme reicht eine Selbsterklärung des Herstellers aber nicht aus. Unabhängige Prüfungen durch eine sogenannte „benannte Stelle“ sind dann zusätzlich vorgeschrieben, etwa für robotergestützte Chirurgiesysteme. Anforderungen an diese „benannten Stellen“ als unabhängige dritte Partei werden wiederum im Rahmen der KI-Normung international erarbeitet. Mit erfolgreicher Zertifizierung des Produktes darf der Hersteller nebst der CE-Kennzeichnung die Kennnummer der benannten Stelle als Prüfinstitut angegeben.
5. Was bedeutet eine „sichere“ KI im Vergleich zu „sicheren“ Maschinen?
Während es bei Maschinen vorrangig um Prävention von physischen Schäden oder Verletzungen geht, liegt bei reinen KI-Softwaresystemen die Prämisse auf psychischer und geistiger Beeinflussung. So sollen sogenanntes „Nudging“ oder Manipulation der handelnden Menschen durch Einsatz „sicherer KI“ weitestgehend ausgeschlossen werden. Die Bewahrung von Autonomie und Kontrolle geht zurück auf Einhaltung von Grund- und Freiheitsrechten. In besonderen Fällen ist daher sogar eine Grundrechtefolgenabschätzung bei „Hochrisiko-KI“ vorzunehmen.
Anders müssen bei sogenannter „Embodied AI“, also Roboter oder intelligente Maschinen zur Assistenz für den Menschen, auch physische Schäden betrachtet werden. So können zum Beispiel Kamerasysteme mit nachgeschalteter KI zur Erkennung von Objekten oder Personen sicherheitsrelevant werden. In diesen Anwendungen dominieren bislang noch Sensorsysteme auf optischer Basis (z.B. Laserscanner), die den hohen Anforderungen an funktionaler Sicherheit entsprechen. Ein Sensor mit höchstem Sicherheitsniveau -„Performance Level e“ / PLe gem. ISO 13849 – kann beispielsweise zur sicheren Erkennung von Personen in ansonsten lebensgefährlichen Arbeitsumgebungen eingesetzt werden. Wie sicher die gewählte Technik ist, erfolgt anhand von Berechnungen mit Ausfallwahrscheinlichkeiten. Wenn es zu Personenschaden mit Todesfolge kommen könnte, werden besonders sichere Komponenten in zumeist redundanter Ausführung eingesetzt.
Sollen also künftig KI-Sensoren gleichermaßen eingesetzt werden, müssen Sie ein ähnlich hohes Sicherheitsniveau aufweisen. Zur Gewährleistung entstehen nicht nur zusätzliche Normen, welche die spezifisch neuen Anforderungen beschreiben, vielmehr wird auch eine Überarbeitung der Maschinenrichtline zur neuen Maschinenverordnung angestrebt. Für vernetzte Maschinen, Mensch-Roboter-Konstellationen („Cobots“) oder sogar „Hochrisiko – Maschinen“ mit KI-Sicherheitsbauteilen werden in dem Zuge sogar neue Ansätze der Risikobewertung erarbeitet.
6. Welche Rolle spielt die KI-Normungsroadmap 2 in diesem Zusammenhang?
Bei der konkreten Ausgestaltung der KI-Verordnung setzt die EU auf das Prinzip „New Legislative Framework“. Im Gesetz wurden lediglich grundlegende Anforderungen und Schutzziele formuliert, welche die europäischen Normungsorganisationen anschließend in Form von Normen und Standards technisch konkretisieren sollen. In der Deutschen Normungsroadmap KI – Version 2 haben die Verbände DIN und DKE Handlungsbedarfe unter Berücksichtigung bereits bestehender nationaler und internationaler Standards analysiert [5]. Normen werden zunehmend international erarbeitet, was sich durch ISO/IEC auf internationaler oder EN auf europäischer Ebene geltend kennzeichnet. Es bleibt offen, welche der vielen derzeit entstehenden Standards sich in der Harmonisierung zur KI-VO durchsetzen. Der aktuelle Stand der Normungsvorhaben kann unter [6] eingesehen werden.
In dem Entstehungsprozess werden auch Ergebnisse von Umsetzungsprojekten einfließen, die sich mit speziellen Inhalten des Normungsbedarfes auseinandersetzen. Als nationales Beispiel ist „zertifizierte KI“ zu erwähnen [7]. Die darin entwickelten Prüfverfahren und Kriterien sind beispielsweise eingeflossen in die DIN TS 92004 „Risikoidentifikation und -analyse für KI-Systeme im gesamten Lebenszyklus“. Einige der gelisteten Aspekte erweisen auch für Personal- und Betriebsräte durchaus Relevanz, denn eine „Regelung zur Durchführung einer Risikobewertung möglicher Auswirkungen“ gilt als bestes Regulierungsinstrument im Umgang mit KI [8]. Eine kurze Gegenüberstellung vortrefflicher Kriterien zur Beurteilung ist Tabelle 1 zu entnehmen.
| Kriterium des DIN Umsetzungsprojektes „zertifizierte KI“ | Kriterium für Betriebsräte | Erläuterungen |
| Ethik und Recht | Persönlichkeits- und Grundrechte | Basis für die weiteren Kriterien |
| Datenschutz | Beschäftigtendatenschutz | Datenschutz der Beschäftigten wird umfassender interpretiert |
| – | Arbeitsbedingungen und Arbeitsschutz | Kriterien erlangen im Rahmen der Überarbeitung der Maschinenrichtline Bedeutung für KI-Normung |
| – | Physische Belastung | |
| Sicherheit | * | Sicherheit bezieht sich hier vorwiegend auf IT (Safety and Security) |
| Autonomie und Kontrolle | Psychische Belastung | Anwender sollen nicht negativ beeinflusst werden und stets die Oberhand über die Technik behalten |
| – | Leistungs- und Verhaltenskontrolle | Intelligente Maschinen sollen nicht die Anwender kontrollieren |
| Fairness | Diskriminierung | Fairness erlangt sehr starken Fokus in der Normung |
| Verlässlichkeit | * | Robustheit und zuverlässige Ergebnisse sind wichtige Qualitätsmerkmale |
| Transparenz | * | Erklärbarkeit der algorithmischen Entscheidung insbesondere bei Methoden des „Machine Learning“ |
| * sekundäres Kriterium für Mitarbeitervertretungen, im Zusammenhang mit KI aber bedeutsam | ||
| – nicht explizit berücksichtigt im DIN Umsetzungsprojekt „zertifizierte KI“ | ||
7. Was müssen Betriebs- und Personalräte über die Zertifizierung von KI wissen?
Im Betriebsverfassungsgesetz werden Betriebsräte angehalten, KI Systeme bei deren Einführung oder Anwendung fachkundig zu beurteilen. Normenkonforme KI-Produkte mitsamt Dokumentation der Folgen und Risiken können dabei die Arbeit erleichtern.
Allerdings sollte auch ein KI-System mit Konformitätserklärung kritisch geprüft werden. Immerhin wird es sich in den meisten Fällen um eine Selbstbeurteilung der Hersteller handeln. Zur Nachprüfung hat sich in der Welt der Maschinen daher etabliert, die Risikobeurteilung des Herstellers bei der Gefährdungsbeurteilung durch die Betreiberseite genauer unter die Lupe zu nehmen. Augenscheinlich ist dies Aufgabe des Arbeitgebers, beispielsweise in Persona der Fachkraft für Arbeitssicherheit. Andererseits ist Arbeitsschutz aber auch eine Angelegenheit des Betriebsrates, welcher sich bei fehlenden Vorsichtsmaßnahmen sachlich einschalten muss. Idealerweise können dabei sogar Gefährdungs- und Risikobeurteilung von den Mitarbeitervertretungen geprüft und verstanden werden. Analog dem „Maschinenbeispiel“ wird es ähnliche Prüfungsakte auch bei KI geben müssen.
Die klassifizierten Normen der MRL gewährleisten, dass nur unbedenkliche und sichere Maschinen in den Warenverkehr gebracht werden dürfen. Bei der KI-VO bleibt es jedoch abzuwarten, wie hilfreich die harmonisierten Normen sein werden. Eine entscheidende Rolle spielt dabei abermals das Industrieinteresse, welches schon bei der Ausgestaltung des Gesetzes eine vorrangige Position eingenommen hat [9]. Interessen von Gewerkschaften oder Mitarbeitervertretungen sind mitunter aber abweichend. Kriterien der Leistungs- und Verhaltenskontrolle werden daher mit hoher Wahrscheinlichkeit nicht explizit verfahrenstechnisch verankert.
Dennoch bietet die entstehende Normung bei vielen anderen Kriterien eine gute Orientierungshilfe für eine umsichtige Bewertung von KI durch Betriebs- und Personalräte. Wenn dazu das notwendige technologische Verständnis innerhalb der Gremien aufgebaut wird, können sachlich begründete Einwände im Sinne aller Beteiligten schnell und kompetent geklärt werden.
Quellen und Fußnoten
[1] Russell Stuart J., Norvig Peter. Künstliche Intelligenz: Ein moderner Ansatz. 4. Auflage, Pearson, 2023
[2] wesentlicher Unterschied zwischen CE-Richtline und CE-Verordnung ist die Erforderlichkeit der Umsetzung in nationales Recht – https://www.ihk.de/bodensee-oberschwaben/innovation/innovation-und-technologie/ce-kennzeichnung-und-normen/ce-kennzeichnung-leitfaden-fuer-einsteiger-1941600
[3] Beschreibung und Download zu finden unter: https://www.dguv.de/ifa/praxishilfen/praxishilfen-maschinenschutz/software-sistema/index.jsp
[4] Die Kennzeichnung sollte sofern möglich am Produkt erfolgen , kann aber auch digital hinterlegt werden – siehe Art. 49 EU KI-VO
[5] Normungsroadmap 2 – https://www.din.de/de/forschung-und-innovation/themen/kuenstliche-intelligenz/fahrplan-festlegen
[6] Überblick Normungsraodmap 2 – aktueller Stand https://www.din.de/de/forschung-und-innovation/themen/kuenstliche-intelligenz/aktueller-umsetzungsstand-normungsroadmap-ki-ausgabe-2
[7] Homepage “zertifizierte KI“ https://www.zertifizierte-ki.de/
[8] Schröder Lothar, Höfers Petra. Praxishandbuch Künstliche Intelligenz. Bund-Verlag, 2022
[9] vgl. Däubler, Wolfgang. Was bringt die KI Verordnung für Beschäftigte?. Computer und Arbeit 8-9|2024