Verordnung zur künstlichen Intelligenz angenommen

EU-Rat und EU-Parlament haben den im Dezember 2003 in den Trilog-Verhandlungen mit der EU-Kommission gefundenen Kompromiss für eine Verordnung über Künstliche Intelligenz (AI-Act) angenommen. Inzwischen liegt eine korrigierte Fassung in deutscher Sprache vor. Die Veröffentlichung im Amtsblatt steht noch aus. Ziel der Verordnung ist es, sicherzustellen, dass Grundrechte, Demokratie, Rechtsstaatlichkeit und ökologische Nachhaltigkeit vor KI mit hohem Risiko geschützt werden und gleichzeitig Innovationen anzukurbeln. Die neuen Vorschriften folgen weitgehend einem risikobasierten Ansatz. Die DIHK hat Anfang Dezember 2023 ein Impulspapier zur KI-Verordnung veröffentlicht.

Wer ist betroffen?

Die KI-Verordnung gilt für
  • Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen oder ansässig sind;
  • Betreiber von KI-Systemen, die ihren Sitz oder eine Niederlassung in der Union haben;
  • Anbieter und Betreiber von KI-Systemen, die ihren Sitz oder eine Niederlassung haben, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird;
  • Einführer und Händler von KI-Systemen;
  • Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;
  • Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind und
  • betroffene Personen, die sich in der Union befinden.
Die Nutzung von KI-Systemen zu privaten Zwecken fällt nicht in den Anwendungsbereich der KI-Verordnung. Dementsprechend sind beispielsweise bei der privaten Nutzung von KI-Systemen wie ChatGPT keine besonderen Vorkehrungen zu treffen.

KI-Systeme mit geringem Risiko

Die große Mehrheit der KI-Systeme fällt in die Kategorie mit minimalem Risiko. Anwendungen mit minimalem Risiko wie KI-gestützte Empfehlungssysteme oder Spam-Filter sind von den Anforderungen befreit und müssen keine Verpflichtungen erfüllen, da diese Systeme nur ein geringes oder kein Risiko für die Rechte oder die Sicherheit der Bürgerinnen und Bürger darstellen. Die Unternehmen können sich dennoch freiwillig zur Einhaltung zusätzlicher Verhaltenskodizes für solche KI-Systeme verpflichten.

KI-Systeme mit hohem Risiko

Für Hochrisiko-KI-Systeme (aufgrund ihres erheblichen Schadenspotenzials für Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie und Rechtsstaatlichkeit) gelten strenge Anforderungen z.B. im Hinblick auf
  • Vorkehrungen zur Risikominimierung und -minderung für den gesamten Lebenszyklus (Risikomanagementsystem),
  • hochwertige Datensätze (Data Governance),
  • Automatische Protokollierung der Vorgänge,
  • Technische Dokumentation (Anhang IV),
  • klare Informationen für die Nutzer (Gebrauchsanweisungen),
  • die Überwachung und Kontrolle (menschliche Aufsicht und Qualitätsmanagementsystem),
  • Robustheit, Genauigkeit und Cybersicherheit
Zu Hochrisiko-KI-Systemen (Anhang III) gehören auch bestimmte kritische Infrastrukturen, z. B. in den Bereichen Wasser, Gas und Strom, Medizinprodukte, Systeme für die Zugangsgewährung zu Bildungseinrichtungen oder für die Einstellung von Personen oder bestimmte Systeme, die in den Bereichen Strafverfolgung, Grenzkontrolle, Justizverwaltung und demokratische Prozesse eingesetzt werden. Darüber hinaus gelten auch Systeme zur biometrischen Identifizierung und Kategorisierung sowie zur Emotionserkennung als hochriskant.
Anbieterinnen und Anbieter müssen künftig Informationen über die Funktionsweise ihrer Systeme bereitstellen und KI-gestützte Entscheidungen (zum Beispiel bei der Prämienfestsetzung im Versicherungsbereich) erläutern.
Die Anbieter von Hochrisiko-KI-Systemen gemäß Artikel 49 oder gegebenenfalls ihre Bevollmächtigten müssen sich registrieren lassen und Informationen entsprechend Anhang VIII bereitstellen.

Konformitätserklärung

Der Anbieter stellt gemäß Artikel 47 für jedes Hochrisiko-KI-System eine schriftliche maschinenlesbare, physische oder elektronisch unterzeichnete EU-Konformitätserklärung aus und hält sie für einen Zeitraum von 10 Jahren ab dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems für die zuständigen nationalen Behörden bereit.
Die EU-Konformitätserklärung enthält folgende Angaben (Anhang V)
  • Name und Art des KI-Systems und etwaige zusätzliche eindeutige Angaben zur Identifizierung und Rückverfolgbarkeit des KI-Systems
  • Name und Anschrift des Anbieters und gegebenenfalls seines Bevollmächtigten
  • Erklärung über die alleinige Verantwortung des Anbieters für die Ausstellung der EU-Konformitätserklärung
  • Versicherung der Konformität des KI-Systems mit der Verordnung sowie weiteren einschlägigen Rechtsvorschriften (auch hinsichtlich der Verarbeitung personenbezogener Daten)
  • Verweise auf die verwendeten einschlägigen harmonisierten Normen oder sonstigen gemeinsamen Spezifikationen
  • gegebenenfalls Name und Identifizierungsnummer der notifizierten Stelle, Beschreibung des durchgeführten Konformitätsbewertungsverfahrens und Identifizierungsnummer der ausgestellten Bescheinigung
  • Ort und Datum der Ausstellung der Erklärung, den Namen und die Funktion des Unterzeichners sowie Angabe, für wen oder in wessen Namen diese Person unterzeichnet hat, eine Unterschrift
Hochrisiko-KI-Systeme müssen mit dem CE-Zeichen gekennzeichnet werden.

Leitplanken für Allzweck-KI

Basismodelle („foundation models“) und Allzweck-KI (GPAI: „General Purpose AI“) müssen grundsätzlich bestimmte Transparenzanforderungen erfüllen. Dazu zählen die Erstellung technischer Dokumentationen, die Einhaltung des EU-Urheberrechts und eine detaillierte Zusammenfassung der für das KI-Training verwendeten Inhalte.
An hochwirksame GPAI-Modelle mit systemischem Risiko werden strengere Anforderungen angelegt. Wenn diese Modelle bestimmte Kriterien erfüllen, müssen die Anbieter z. B.
  • Modellbewertungen durchführen
  • systemische Risiken bewerten und mindern
  • kontradiktorische Tests durchführen
  • der Kommission schwerwiegende Vorfälle melden und
  • die Cybersicherheit gewährleisten

Besondere Transparenzverpflichtungen:

Beim Umgang mit KI-Systemen wie Chatbots sollen die Nutzer informiert werden, dass sie es mit einer Maschine zu tun haben. Deepfakes und andere KI-generierte Inhalte müssen als solche gekennzeichnet werden. Die Nutzer müssen über die Anwendung der biometrischen Kategorisierung oder Emotionserkennung aufgeklärt werden. Darüber hinaus müssen die Anbieter die Systeme so gestalten, dass synthetische Inhalte wie Audio-, Video-, Text- und Bildinhalte in einem maschinenlesbaren Format als künstlich erzeugt oder manipuliert gekennzeichnet werden und als solche erkannt werden können.

KI-Systeme mit unannehmbarem Risiko

KI-Systeme, die die Grundrechte der Menschen gefährden, werden ganz verboten. Dazu zählen
  • biometrische Kategorisierungssysteme, die sensible Merkmale verwenden (z. B. politische, religiöse, philosophische Überzeugungen, sexuelle Orientierung, Rasse);
  • ungezieltes Auslesen von Bildern aus dem Internet oder Videoüberwachungen zur Erstellung von Gesichtserkennungsdatenbanken;
  • Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen;
  • Scoring basierend auf sozialem Verhalten oder persönlichen Merkmalen;
  • KI-Systeme, die menschliches Verhalten manipulieren, um ihren freien Willen zu umgehen;
  • KI, die Schwachstellen bestimmter Gruppen ausnutzt (aufgrund ihres Alters, ihrer Behinderung, ihrer sozialen oder wirtschaftlichen Situation).

Ausnahmen für die Strafverfolgung

  • Einsatz biometrischer Identifikationssysteme (RBI) in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, vorbehaltlich einer vorherigen richterlichen Genehmigung und für streng definierte Straftatenlisten.
  • „Post-Remote“-RBI ausschließlich für die gezielte Suche nach Personen, die wegen einer schweren Straftat verurteilt sind oder verdächtigt werden.
  • „Echtzeit“-RBI (zeitlich und örtlich begrenzt) muss strenge Bedingungen erfüllen und ist nur zu folgenden Zwecken zulässig:
    • gezielte Suche nach Opfern (Entführung, Menschenhandel, sexuelle Ausbeutung),
    • Abwehr einer konkreten und gegenwärtigen terroristischen Bedrohung,
    • die Lokalisierung oder Identifizierung einer Person, die im Verdacht steht, eine der in der Verordnung genannten konkreten Straftaten begangen zu haben (z. B. Terrorismus, Menschenhandel, sexuelle Ausbeutung, Mord, Entführung, Vergewaltigung, bewaffneter Raubüberfall, Beteiligung an einer kriminellen Vereinigung, Umweltkriminalität).

Sanktionen und Inkrafttreten

Die Nichteinhaltung der Regeln kann je nach Verstoß und Größe des Unternehmens zu Bußgeldern zwischen 35 Millionen Euro oder 7 Prozent des weltweiten Umsatzes und 7,5 Millionen Euro oder 1,5 Prozent des Umsatzes führen. Für KMU und Start-up-Unternehmen sollen angemessen niedrigere Bußgeld-Obergrenzen vorgesehen werden.

Zeitplan

Die Verordnung tritt 20 Tage nach der Veröffentlichung im Amtsblatt - vermutlich im Juni 2024 - in Kraft. Das KI-Gesetz kommt dann zwei Jahre nach seinem Inkrafttreten zur Anwendung. Die Verbote werden aber bereits nach sechs Monaten gelten. Für die Vorschriften für die unterschiedlichen KI-Formen und -Anwendungen gilt ein gestufter Zeitplan:
  • Nach sechs Monaten (ca. Dez. 2024): KI mit inakzeptablem Risiko muss verboten sein.
  • Nach 12 Monaten (ca. Juni 2025): Regeln zu Governance und General Purpose AI (GPAI) für Hochrisiko-KI
  • Nach 24 Monaten (ca. Juni 2026): Sämtliche Bestimmungen werden wirksam, auch für KI-Systeme mit hohem Risiko nach Anhang III (eigenständige KI-Systeme, z.B. Biometrische Identifizierung)
  • Nach 36 Monaten (ca. Juni 2027): Pflichten für Hochrisiko-KI-Systeme nach Anhang II (KI in Medizinprodukten, Maschinen etc.)

DIHK: Impulspapier zur Regulierung der künstlichen Intelligenz

Aus Sicht der DIHK sollte der AI-Act einen ausgewogenen Ansatz verfolgen, der weder die Entwickler von Basismodellen komplett aus der Verantwortung nimmt, noch von vornherein überreguliert. Die Chance, KI als Schlüsseltechnologie in Europa zu erschließen, hänge auch davon ab, dass die rechtlichen Leitplanken klar und verständlich, aber nicht zu eng gefasst sind und umsetzbar bleiben. Künstliche Intelligenz made in Europe brauche ein funktionierendes KI-Ökosystem.
Bei der Regulierung von KI sollte grundsätzlich ein risikobasierter Ansatz verfolgt werden. Verlässlichkeit und Transparenz von KI-Modellen sind ebenso wichtig und werden am Ende auch über die erfolgreiche Produktanwendung der Technologie im Markt entscheiden.
DIHK-Impulspapier (nicht barrierefrei, PDF-Datei · 188 KB)
(Quelle EU-Parlament, EU-Kommission, DIHK)