Episode 10.8 - No risk, no fun with AI? Was sagt das Gesetz dazu?

Derzeit erscheinen ziemlich viele "AI Risks & Failures" Nachrichten auf mein News-Dashboard, daher habe ich dieses Thema vorgezogenen, vor allem weil der Gesetzgeber zu diesem Thema bereits 2 Deadlines definiert hat: den 2. Februar 2025 (war schon) und den 2. August 2025 (also in 3 Wochen).

Die EU-KI-Verordnung (Artificial Intelligence Act)* ist am 1. August 2024 in Kraft getreten und stellt Unternehmen vor umfassende neue Compliance-Anforderungen beim Einsatz von Künstlicher Intelligenz. Das Gesetz verfolgt einen risikobasierten Ansatz und unterscheidet zwischen verschiedenen Akteuren entlang der KI-Wertschöpfungskette. Ich werde hier erstmal nur die Punkte angehen, die berufliche KI-Anwender betrifft.

Die grundlegenden Pflichten für alle KI-nutzenden Unternehmen

1. KI "User Awareness / AI Literacy" aufbauen

Seit dem 2. Februar 2025 gelten bereits die ersten Pflichten der KI-Verordnung. Alle Anbieter und Betreiber von KI-Systemen müssen sicherstellen, dass ihr Personal und andere Personen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz (AI Literacy) verfügen. Diese Pflicht gilt unabhängig von der Risikoklasse des KI-Systems und betrifft somit nahezu alle Unternehmen, die KI einsetzen.

KI-Kompetenz umfasst dabei die Fähigkeiten, Kenntnisse und das Verständnis, die es ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken bewusst zu werden. Vereinfacht ausgedrückt: Mitarbeiter sollen KI-Systeme sachkundig nutzen, müssen aber unbedingt die Potenziale und Risiken erkennen. Damit ist nicht nur das technische Wissen selbst, sondern auch die ethischen, sozialen und rechtlichen Folgen, gemeint. Unternehmen müssen entsprechende dazu Schulungsmaßnahmen ergreifen, wobei technische Kenntnisse, Erfahrung und der spezifische Einsatzkontext zu berücksichtigen sind. Wichtig: Diese Pflicht trifft jeden Betrieb, unabhängig von der Betriebsgröße!

Es sind auch zielgruppenspezifische Schulungskonzepte notwendig:

• Entwickler: Detaillierte technische und ethische Anforderungen. Falls diese an eigene Modelle oder deren Integration arbeiten, sind hier auch zusätzlichen Pflichten zu erwarten, da man damit zum "nachgelagerten Anbietern" (siehe weiter unten) werden kann.
• Führungskräfte: Compliance, Verantwortlichkeit und Risikomanagement
• Anwender: Grundlagenschulungen zur sicheren KI-Nutzung
• Datenschutz-/Compliance-Beauftragte: Spezielle rechtliche Schulungen

2. KI Governance, Compliance und Riskmanagement aufbauen

Unternehmen, die KI-Modelle mit allgemeinem Verwendungszweck** (General Purpose AI, GPAI - also ChatGPT, Copilot, Midjourney und ähnliche Tools) nutzen, unterliegen ab dem 2. August 2025 besonderen Bestimmungen. Während die Hauptverantwortung bei den KI-Anbietern liegt, müssen nutzende Unternehmen prüfen, ob ihre Integration dieser Tools sie zu nachgelagerten Anbietern macht (was zusätzliche Pflichten mit sich bringt, die ich hier erstmal nicht aufführen werde).

Konkret verpflichtet u.a. die Verordnung Unternehmen dazu:

• offenzulegen, wenn solche Systeme zum Einsatz kommen,
• technische und organisatorische Maßnahmen zu ergreifen, um Missbrauch zu vermeiden,
• eine Dokumentation darüber zu führen, in welchen Kontexten die KI eingesetzt wird,
• und gegebenenfalls eine menschliche Kontrolle sicherzustellen.

Ein kritischer Schritt dazu ist eine vollständige Inventarisierung aller im Unternehmen genutzten KI-Systeme. Diese umfasst sowohl intern entwickelte als auch extern bezogene KI-Anwendungen, einschließlich Standardsoftware mit KI-Funktionen (z.B. Microsoft Copilot, Google Gemini etc.), die durch Updates eingeführt wurden. Unternehmen sollten dabei auch an "Schatten-KI" denken – KI-Tools, die Mitarbeiter eigenständig nutzen, ohne dass die verantwortliche Abteilung davon weiß!

Der Einsatz von KI am Arbeitsplatz berührt in vielen Fällen die Mitbestimmungsrechte des Betriebsrats. Denn: Sobald KI-Systeme verwendet werden, die das Verhalten, die Leistung oder Entscheidungen über Beschäftigte betreffen, sollte der Betriebsrat einbezogen werden.

Da ist schon ein ziemlicher Aufwand, der meiner Meinung nach auch völlig gerechtfertigt ist, da KI-Tools ziemlich disruptiv sind. Sie bringen neben Vorteilen auch einige neuartige Risiken mit sich, die bisher nicht durch klassische Compliance- und Riskmanagement-Frameworks abgedeckt sind.

KI Einsatz ist eine Management-Aufgabe!

Derzeit erkenne ich wieder eine übliche Tendenz bei einigen Entscheidern: "es sind IT-Tools, also soll sich die IT drum kümmern" - Nein, in diesem Fall ist es definitiv keine technische Aufgabe. Die obersten Entscheider müssen sich damit direkt befassen und es müssen organisatorische Strukturen aufgebaut werden, die die KI Governance steuern. Zum Beispiel könnten die folgenden Stellen und Rollen definiert werden:

• Chief AI Officer (CAIO) für strategische Leitung der KI-Initiativen
• KI-Compliance-Beauftragte als zentrale Koordinationsstelle
• Interdisziplinäres KI-Gremium mit Vertretern aus Recht, Betriebsrat, IT, Datenschutz und Fachbereichen etc ...
• AI Ethics Committee für ethische Bewertungen

Ich wiederhol mich ungern, aber man darf nicht in die "Simplicity Trap" tappen, und ab dem 2. August hat das auch gesetzliche Konsequenzen.

Falsch wäre es auch, im Hinblick auf die Risiken lieber abwarten zu wollen, und die Evaluierung und Einführung von KI-Tools zu verschieben. Diese technologische Innovation ist auf der anderen Seite sehr mächtig und, wenn sie richtig eingesetzt wird, bringt sie spürbare und schnelle Wettbewerbsvorteile.

Tja, wie heißt es so schön „Mit großer [KI-]Macht kommt große Verantwortung“*** 😉

*Weiteres zu diesem Thema findet man im KI-Service Desk der Bundesnetzagentur

** Es gibt weitere Risikoklassen für KI-Systeme, die wesentlich stärkeren Auflagen unterliegen.

Live long and prosper 😉🖖

*** busicmezug ;)

Post Skriptum: Ich bin ja eigentlich kein großer Freund von Regulierungen, vor allem wenn sie schlecht gemacht sind. Aber ich muss sagen, dass die EU in Sachen Digitalrecht und Digitalgesellschaft eine gute Arbeit leistet. Das "Digital Competence Framework for Citizens" habe ich bereits in 10.1 angesprochen. In Sachen Datenschutz und mit dem "Digital Market Act" versucht die EU die Marktdominanz und die unsauberen Praktiken von "Big Tech USA" zu begrenzen und in Sachen KI hat sie ein proaktives Vorgehen gewählt, das vorbeugt, aber nicht blockiert.