AI-Act: Die EU reguliert künstliche Intelligenz (KI)

Was ist der AI-Act?

Der AI-Act (Artificial Intelligence Act) ist ein Gesetzesentwurf der Europäischen Union zur Regulierung von künstlicher Intelligenz. Es ist weltweit eine der ersten umfassenden Regulierungen von künstlicher Intelligenz (KI).

Was ist das Ziel des AI-Acts?

KI hat das Potenzial vielfältige Vorteile für Wirtschaft und Gesellschaft hervorzubringen. Als Beispiele können die Verbesserung von Prognosen, die Optimierung der Ressourcennutzung und die Personalisierung von Dienstleistungen genannt werden. Dieselben KI-Faktoren, die einen sozioökonomischen Nutzen erbringen, bergen aber auch neue Gefahren und Nachteile für unsere Gesellschaft. Beispielsweise neigen KI-Systeme, die auf unzureichenden Trainingsdaten basieren, Vorurteile zu übernehmen und dadurch diskriminierende Entscheidungen zu treffen. Die EU möchte deshalb sicherzustellen, dass KI immer im Einklang mit den Werten, Grundrechten und Prinzipien der EU entwickelt wird.
Erklärte Position zum AI-Act des EU-Parlaments:
„Die Vorschriften sollen die Entwicklung, den Einsatz und die Nutzung von menschenzentrierten, vertrauenswürdigen KI-Systemen in der EU regeln und Gesundheit, Umwelt, Sicherheit, Grundrechte und Demokratie vor schädlichen Folgen schützen.“

Wann tritt der AI-Act in Kraft?

Die EU-Staaten haben die Verordnung am 13.06.2024 verabschiedet und die Verordnung ist seit dem 01.08.2024 in Kraft. Grundsätzlich findet sie erst nach einer Übergangszeit von 24 Monaten – voraussichtlich August 2026 – Anwendung.
Einige Vorschriften sind aber bereits früher anwendbar:
  • KI-Systeme mit inakzeptablem Risiko sind nach sechs Monaten verboten (Februar 2025)
  • Vorschriften zu KI-Modellen mit allgemeinem Verwendungszweck greifen nach 12 Monaten (August 2025)

Wer ist vom AI-Act betroffen?

Diese Akteure sind vom AI-Act betroffen:
  • Anbietende (auch aus Drittländern), die KI-Systeme in der EU in Verkehr bringen oder in Betrieb nehmen
  • Produktherstellende, die KI-Anwendungen selbst oder als Bestandteil in einem Produkt anbietet, verbreitet oder unter dem eigenen Namen oder der eigenen Handelsmarke in der EU nutzen
  • Nutzende von KI-Systemen, die sich innerhalb der EU befinden
  • Anbietende und Nutzende von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis innerhalb der EU verwendet wird
Ausnahmen, die nicht vom AI-Act betroffen sind:
  • KI-Systeme für ausschließlich militärische Zwecke
  • Internationale Organisationen die KI-Systeme im Bereich der Strafverfolgung in Zusammenarbeit mit der EU oder mindestens einem Mitgliedstaat nutzen
  • Forschungs- und Entwicklungsaktivitäten zu KI-Systemen
  • Open-Source-Software unterliegt im Allgemeinen nicht der Regulierung, es sei denn, sie wird aufgrund ihrer Anwendung als verbotenes oder hochriskantes KI-System eingestuft

Welche Pflicht kommt auf Unternehmen zu?

Artikel 4 verpflichtet Unternehmen sicherzustellen, dass alle beteiligten Akteure, die mit der Entwicklung, Implementierung und Nutzung von KI-Systemen in einem Unternehmen befasst sind, über die erforderlichen Kompetenzen und Kenntnisse verfügen. Als eine der ersten Umsetzungspflichten, die Anwendung finden, müssen Unternehmen dies bis zum 2. Februar 2025 durchführen.
In der Praxis bedeutet dies für Unternehmen, dass sie:
  • Schulungsprogramme entwickeln und implementieren müssen, die die notwendigen technischen und ethischen Grundlagen für den Umgang mit KI vermitteln.
  • Trainings zur sicheren Nutzung von KI-Systemen bereitstellen müssen, insbesondere wenn diese in sicherheitskritischen oder sensiblen Bereichen eingesetzt werden.
  • Regelmäßige Auffrischungskurse für die Mitarbeitenden anbieten müssen, um sicherzustellen, dass sie stets über die neuesten Entwicklungen und Best Practices im Umgang mit KI-Systemen informiert sind.

Wie wird KI im Rahmen des AI-Act definiert?

KI-Systeme müssen laut AI-Act mit einer der gängigen KI-Techniken entwickelt worden sein und
„[…] im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen [können], die das Umfeld beeinflussen, mit dem sie interagieren.“

Ist meine KI vom AI-Act betroffen?

Das Gesetz ist darauf ausgelegt, nur KI-Systeme mit hohem Risiko für die Allgemeinheit strengen Vorschriften zu unterlegen oder zu verbieten. Die meisten KI-Systeme fallen jedoch nicht unter diese Kategorie. Für sie gibt es keine Vorschriften oder nur Transparenzpflichten. Um zu bestimmen, welche Vorschriften für welche KI-Systeme gelten, wurden vier Risikoklassen gebildet.
Das Conformity-Tool des Europäischen Instituts für Innovation und Technologie (EIT) ist hilfreich, um schnell herauszufinden, unter welche Risikoklasse ein KI-System fällt: EU AI Act Conformity Tool.

Welche Risikoklassen gibt es?

Der AI-Act kategorisiert KI-Systeme in vier verschiedene Risikoklassen, die jeweils mit unterschiedlichen rechtlichen Vorgaben verknüpft sind:
Risikoklasse Kurzbeschreibung Regulierung Beispiel
Inakzeptables Risiko Verletzung fundamentaler Rechte Verboten Social Scoring Systeme
Hohes Risiko Potenziell hohes Schadensrisiko Weitreichende Anforderungen Kreditwürdigkeitsprüfung
Begrenztes Risiko Interaktion mit Personen Transparenzpflichten Chatbots
Niedriges Risiko Alle anderen Systeme Keine Anforderungen Vorausschauende Wartung
Je größer das potenzielle Risiko bei der Verwendung eines KI-Systems ist, desto umfangreicher sind die damit verbundenen rechtlichen Anforderungen. Dazu gehören Risikobewertungen, Dokumentationspflichten, EU-Konformitätserklärungen und Überwachung durch den Betreibenden.

Inakzeptables Risiko – Verbotene Praktiken

Die folgenden KI-Systeme stellen laut AI-Act ein unannehmbares Risiko dar, da sie gegen Grundrechte verstoßen und müssen deshalb bis zum 2. Februar 2025 vom EU-Binnenmarkt genommene werden:
  • Die unterschwellige Beeinflussung von Menschen, die diesen körperlichen oder psychischen Schaden zufügen könnten.
  • Ausnutzung der Schwäche oder Schutzbedürftigkeit einer Personengruppe aufgrund von Alter oder körperlicher- oder geistiger Behinderung.
  • Die Bewertung oder Klassifizierung der Vertrauenswürdigkeit natürlicher Personen über einen bestimmten Zeitraum auf Grundlage des sozialen Verhaltens, persönlicher Eigenschaften oder Persönlichkeitsmerkmalen.
  • Identifizierung von Personen in Echtzeit mithilfe biometrischer Daten in öffentlichen Bereichen für Zwecke der Strafverfolgung (Es gelten Ausnahmen).

Hohes Risiko

Stellt ein KI-System ein potenziell hohes Risiko für die Sicherheit, Gesundheit oder Grundrechte von Menschen dar, gilt es als Hochrisiko-KI-System. Anbietende solcher Systeme müssen eine Konformitätsbewertung durchführen und eine Konformitätserklärung ausstellen. Darunter fallen diese Anwendungen:
  • Biometrische Identifizierung und Kategorisierung von natürlichen Personen
  • Verwaltung und Betrieb kritischer Infrastrukturen
  • Entscheidungen über den Zugang zu Bildungseinrichtungen als auch für die Bewertung von Schülern und Schülerinnen
  • Auswahl von Bewerbenden als auch für Entscheidungen über Beförderungen, Kündigungen, Aufgabenzuweisungen und die Leistungsüberwachung in Arbeitsverhältnissen
  • Beurteilungen des Anspruchs auf öffentliche Unterstützungsleistungen oder die Kreditwürdigkeit natürlicher Personen
  • Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe
  • Verschiedene Anwendungen im Bereich der Strafverfolgung, des Asylrechts und der Justiz

Begrenztes Risiko

Unter die Kategorie „Begrenztes Risiko“ fallen alle KI-Systeme, die mit Menschen interagieren. Beispiele dafür sind Chatbots oder Anwendungen zur Emotionserkennung. Für Anbieter solcher KI gilt eine Transparenzpflicht. Das bedeutet, dass eine natürliche Person darüber informiert werden muss, dass sie mit einem KI-System interagiert.

Niedriges Risiko

Mit niedrigem Risiko werden KI-Systeme bewertet, die unter keine andere Risiko-Kategorie fallen. Dazu zählen interne Anwendungen wie Spam-Filter oder Systeme für die vorausschauende Wartung von Maschinen. Sie müssen keine rechtlichen Anforderungen erfüllen. Dennoch besteht für Unternehmen die Möglichkeit, freiwillig Verhaltenskodizes für diese KI-Systeme anzuwenden.

Welche gesonderten Vorschriften gelten für KI-Modelle mit allgemeinem Verwendungszweck?

Unter KI-Modellen mit allgemeinem Verwendungszweck (General Purpose Artifical Intelligence, GPAI) versteht man KI-Systeme, die eine Vielzahl von Funktionen ausführen und sich an verschiedene Aufgaben anpassen können. Ein populäres Beispiel hierfür ist ChatGPT von Open AI. Da GPAI stark an wirtschaftlicher und gesellschaftlicher Relevanz gewinnen, gelten für sie gesonderte Risikokategorien. Diese richten sich nicht der jeweiligen Anwendungen, sondern der Funktion des zugrunde liegenden Basismodells.
Für normale GPAI gilt:
  • Zusätzliche technische Dokumentation
  • Detaillierte Aufstellung über die Verwendung urheberrechtlich geschützter Trainingsdaten
  • Anforderungen zur Kennzeichnung generierter Inhalte
Für GPAI mit erheblichen Auswirkungen, worunter man „sehr leistungsstarke“ Basismodelle, die systemische Risiken bergen können, versteht, gilt zusätzlich:
  • Pflichten in Bezug auf die Überwachung schwerwiegender Vorfälle
  • Modellbewertung
  • Angriffstests

Welche Pflichten müssen Anbietende von Hochrisiko-KI erfüllen?

Unter Abschnitt II des AI Acts finden Unternehmen die technischen, sicherheitsrelevanten und organisatorischen Pflichten, die im Falle von Nicht-Einhaltung zu hohen Bußgeldern führen können.
  • Transparenz und Bereitstellung von Information für Betreibende (Artikel 13) u.a. Name und Kontaktdaten der Anbietenden
  • Risikomanagement (Artikel 9)
  • Daten und Datenverwaltung (Artikel 10) durch trainieren, validieren und testen der Datensätze
  • Technische Dokumentation (Artikel 11) vor der Inbetriebnahme/Inverkehrbringen
  • Aufzeichnungspflichten (Artikel 12) mittels automatischer Protokollierung der Ergebnisse
  • Menschliche Aufsicht (Artikel 14) durch Möglichkeit der Überwachung durch natürliche Personen
  • Genauigkeit, Robustheit und Cybersicherheit (Artikel 15)
  • Qualitätsmanagement gemäß Artikel 17 einhalten
  • Kennzeichnungspflicht (Informationen über den Anbieter)
  • Aufbewahrung der Dokumente gemäß Artikel 18
  • Korrekte Aufbewahrung der Protokolle
  • Konformitätsbewertungsverfahren bevor das KI-System eingeführt oder in Betrieb genommen wird
  • EU-Konformitätserklärung gemäß Artikel 47 erstellen
  • CE-Kennzeichnung kenntlich machen an KI-System oder seiner Verpackung
  • Registrierungspflichten gemäß Artikel 49, Abs. 1 nachkommen
  • Bei Korrekturmaßnahmen die erforderlichen Informationen bereitstellen gemäß Artikel 20
  • Nachweispflicht über eingehaltene Verpflichtungen nach Abschnitt II des AI Acts, sofern eine Behörde dies anfordert
  • Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllen

Welche Pflichten entstehen für Betreibende von Hochrisiko-KI?

  • KI-Kompetenzvermittlung der Mitarbeitende
  • angemessene technische und organisatorische Maßnahmen, um den sicheren und ordnungsgemäßen Betrieb des KI-Systems zu gewährleisten
  • Menschliche Aufsichtspflicht erfüllen
  • auf eine zweckgebundene Nutzung achten, um nicht in die Rolle des Anbieters zu rutschen
  • Benachrichtigung des Anbieters, Händlers oder der Marktüberwachungsbehörde bei Zweifeln über die Konformität der Hochrisiko-KI bis hin zum Aussetzen des KI-Systems im Notfall
  • Aufbewahrungspflicht der vom Anbieter erstellten Protokolle (mind. 6 Monate)
  • Prüfen, ob die EU-Konformitätserklärung vom Anbieter erstellt wurde
  • Prüfen, ob das KI-System in der EU-Datenbank registriert wurde (Hochrisiko-KI in kritischer Infrastruktur wird in der nationalen Datenbanken registriert)
  • Kooperation mit den zuständigen Behörden

Welche Pflichten für Anbietende und Betreibende von GPAI bestehen?

Anbieter von GPAI ohne systemischem Risiko müssen hauptsächlich Transparenzregeln einhalten (Artikel 53).
  • Technische Dokumentation
  • Transparenz und Bereitstellung von Informationen
  • Urheberrecht einhalten
  • Detaillierte Zusammenfassung der Trainingsdaten
  • Zusammenarbeit mit Behörden
  • Zusätzliche Pflichten für Anbieter von GPAI mit systemischem Risiko (Artikel 55)
Dazu gehört ein Risikomanagementsystem wie bei Hochrisiko-KI, eine Meldepflicht gegenüber dem Europäischen Büro für Künstliche Intelligenz (ggf. auch an die nationale Behöre) bei erheblichen Vorfällen sowie über die Implementierung der Maßnahmen zur IT-Sicherheit.

Wie hoch fallen Sanktionen für Verstöße aus?

Die Strafen für Verstöße gegen die Vorschriften werden entsprechend der Größe und dem Geschäftszweck des Unternehmens festgelegt.
  • Verstöße bei verbotenen Praktiken aus Artikel 5 oder Verletzungen von Datenanforderungen:
    Strafen bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist).
  • Verstöße gegen andere Vorschriften der Verordnung:
    Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vorjahresumsatzes.
    Hierunter fallen Vorschriften für Hochrisiko-KI wie Konformitätsprüfung oder Risikobewältigungsmaßnahmen. Unternehmen, die entlang der Wertschöpfungskette als Akteure (Anbieter, Betreiber, Händler oder Einführer) laut AI Act fungieren, laufen Gefahr, bei nicht konformen Praktiken Geldbußen zu erhalten.
  • Nichteinhalten der GPAI-Vorschriften:
    Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vor-jahresumsatzes.
  • Falsche, unvollständige oder irreführende Angaben an Behörden:
    Strafen bis zu 7,5 Millionen Euro oder 1,5 % des gesamten weltweiten Vorjahresumsatzes.
  • Für KMUs und Start-Ups gelten jeweils die niedrigeren Schwellenwerte.

Wer ist für die Durchsetzung des AI-Acts zuständig?

Jedes EU-Land muss bis zum 2.August 2025 eine nationale KI-Aufsichtsbehörde benennen. Diese Behörde hat neben der entsprechenden Überwachungsfunktion zusätzlich die Aufgabe, Innovation und Wettbewerb zu fördern. In Deutschland sind für diese Rolle die Bundesnetzagentur, die Datenschutzbehörden oder auch eine neu zu gründende Behörde im Gespräch.
Auf EU-Ebene werden die nationalen Aufsichtsbehörden im Ausschuss für künstliche Intelligenz vertreten. Zusätzlich befasst sich das Amt für künstliche Intelligenz (AI-Office) mit der Überwachung, Beaufsichtigung und Durchsetzung der Anforderungen des AI-Acts an KI-Modelle mit allgemeinem Verwendungszweck (GPAI).

Welche Unterstützung gibt es für KMU und Startups?

Um europäische Start-ups und KMU bei der Entwicklung von AI-Act konformen KI-System zu unterstützen, sollen sog. KI-Reallaboren entstehen. Sie sollen eine Möglichkeit bieten, KI-Systeme unabhängig und unter Regulierungsaufsicht zu entwickeln und zu testen, bevor sie auf den Markt kommen. Die KI-Reallabore sollen alle relevanten Akteure – öffentliche und private, einschließlich notifizierter Stellen, Normungsorganisationen und Forschungseinrichtungen – einbeziehen und für KMU und Startups grundsätzlich kostenfrei sein.

Welche Umsetzungsfristen müssen Unternehmen kennen?

Unternehmen sollten sich für ihre Compliance-Strategie gut mit den verschiedenen Umsetzungsfristen auseinandersetzen, um etwaige Verstöße zu umgehen und ihnen bei dabei hilfreich sein können. Die ersten treten bereits sechs Monate nach in Kraft treten des AI Acts in Kraft.
2. Februar 2025
  • Verbot unannehmbarer KI
  • Vorschriften zu Artikel 4 zur KI-Kompetenzpflicht
2. Mai 2025
  • Veröffentlichung der KI-Verhaltenskodizes
2. August 2025
  • GPAI-Regeln treten in Kraft
  • Errichtung des Governance-Systems auf EU-Ebene
  • Ernennung der nationalen Behörde
  • Sanktionen
2. August 2026
  • Vorschriften für Hochrisiko-KI in den acht Bereichen gemäß Anhang III
  • KI-Systeme mit begrenztem und minimalem Risiko
2. August 2027
  • Hochrisiko-KI gemäß der EU-Harmonisierungsvorschriften in Anhang I
  • Nicht bindende GPAI-Standards
  • Umsetzungspflicht für Anbietende von GPAI, die ihr Modell vor dem 2. August 2025 in Verkehr oder betrieb gebracht haben
2. August 2030
  • Umsetzungsfrist für GPAI, die vor dem 2. August 2026 in Verkehr oder Betrieb gebracht wurden, deren Konzeption wesentlich geändert wurde

Weiterführende Quellen

  • Den finalen Entwurf des AI-Acts können Sie auf der Seite der offiziellen Website der EU einsehen.
  • Das EU AI Act Conformity Tool vom Europäischen Institut für Innovation und Technologie (EIT) hilft Ihnen, herauszufinden unter welche Risikoklasse Ihre KI-Anwendung fällt.
  • Die EU AI Act Compliance Journey des appliedAI Institute for Europe ist eine „Landkarte“, die die Navigation durch das KI-Gesetz erleichtert, da alle Phasen und Entscheidungspunkte in dem Flussdiagramm auf einen Blick zu sehen sind.
  • Die EU Ethik-Leitlinien für vertrauenswürdige KI können Sie bei ethischen Fragestellung in der KI-Entwicklung zu Rate ziehen.