EU AI Act Risikoklassifizierung erklärt: Was jedes Compliance-Team 2025 wissen muss

Diese KI-Systeme sind vollständig verboten. Es existiert kein Compliance-Pfad, wenn Sie eines davon einsetzen, ist Ihre einzige legale Option, es zu beenden. Die Sanktion bei Verstössen ist die höchste der Verordnung: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes.

Was eine Klassifizierung als inakzeptables Risiko auslöst:

• Social-Scoring-Systeme durch Behörden, die Personen anhand ihres Sozialverhaltens oder ihrer Persönlichkeitsmerkmale bewerten oder klassifizieren und zu einer Schlechterstellung führen, die in keinem Verhältnis zum Kontext steht
• Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (mit engen Ausnahmen für bestimmte schwere Straftaten, vorbehaltlich vorheriger richterlicher Genehmigung)
• KI-Systeme, die unterschwellige, manipulative oder täuschende Techniken einsetzen, um das Verhalten wesentlich zu verzerren und dadurch erheblichen Schaden zu verursachen oder zu verursachen drohen
• KI-Systeme, die Schwachstellen bestimmter Gruppen ausnutzen, etwa aufgrund von Alter, Behinderung, sozialer oder wirtschaftlicher Lage, um das Verhalten wesentlich zu verzerren und erheblichen Schaden zu verursachen
• Systeme zur Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (ausser zu medizinischen oder Sicherheitszwecken)
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen, um Gesichtserkennungsdatenbanken zu erstellen oder zu erweitern
• Systeme zur biometrischen Kategorisierung, die Personen anhand biometrischer Daten kategorisieren, um auf Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse Überzeugungen oder sexuelle Orientierung zu schliessen (ausser rechtmässig erworbene biometrische Daten im Strafverfolgungskontext)

EU AI Act, Artikel 5, Verbotene Praktiken im Bereich der künstlichen Intelligenz, finaler konsolidierter Text, verabschiedet im Juni 2024

Hier liegt der Grossteil der operativen Komplexität. Hochrisiko-KI-Systeme sind zulässig, gehen jedoch mit umfangreichen Anforderungen an Dokumentation, Prüfung, Überwachung und menschliche Aufsicht einher. Die Nichteinhaltung löst Bussen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes aus. Für Multi-Entity-Organisationen vervielfacht sich die Herausforderung: Verschiedene Tochtergesellschaften setzen dieselbe Art von System unter unterschiedlichen Bedingungen ein, was jeweils eine eigenständige Compliance-Bewertung erfordert.

Hochrisiko-Kategorien nach Anhang III (die für Unternehmen relevantesten):

• Biometrische Identifizierung und Kategorisierung natürlicher Personen (über die oben genannten verbotenen Kategorien hinaus)
• Verwaltung und Betrieb kritischer Infrastrukturen . KI-Systeme, die als Sicherheitskomponenten im Strassenverkehr sowie in der Wasser-, Gas-, Wärme- und Stromversorgung eingesetzt werden
• Allgemeine und berufliche Bildung . KI, die über den Zugang zur Bildung entscheidet, Lernergebnisse bewertet, das angemessene Bildungsniveau beurteilt oder verbotenes Verhalten während Prüfungen überwacht
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit . KI, die für Rekrutierung, Stellenausschreibungen, das Sichten oder Filtern von Bewerbungen, die Beurteilung von Kandidatinnen und Kandidaten, Beförderungs- oder Kündigungsentscheidungen, die Zuweisung von Aufgaben anhand individuellen Verhaltens oder individueller Merkmale sowie zur Überwachung und Bewertung der Arbeitsleistung eingesetzt wird
• Zugang zu wesentlichen Dienstleistungen . KI, die zur Bonitätsbewertung, zur Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung, zur Bewertung und Klassifizierung von Notrufen sowie zur Beurteilung der Anspruchsberechtigung auf öffentliche Leistungen und Dienste eingesetzt wird
• Strafverfolgung . KI, die für individuelle Risikobewertungen, Lügendetektoren, das Erkennen von Deepfakes als Beweismittel, die Bewertung der Verlässlichkeit von Beweismitteln sowie die Vorhersage von Straftaten anhand von Profiling eingesetzt wird
• Migration, Asyl und Grenzkontrolle . KI, die bei der Bearbeitung von Anträgen, der Bewertung von Sicherheitsrisiken und der Prüfung von Reisedokumenten eingesetzt wird
• Rechtspflege und demokratische Prozesse . KI, die Justizbehörden bei der Recherche und Auslegung von Sachverhalten und Recht unterstützt

Compliance-Pflichten für Hochrisiko-KI-Systeme:

• Risikomanagementsystem, ein kontinuierlicher Risikomanagementprozess über den gesamten Lebenszyklus des KI-Systems hinweg, der einzurichten, umzusetzen, zu dokumentieren und zu pflegen ist
• Daten-Governance, Trainings-, Validierungs- und Testdatensätze müssen Qualitätskriterien erfüllen, darunter Relevanz, Repräsentativität, Vollständigkeit und statistische Angemessenheit
• Technische Dokumentation, ausführliche Dokumentation, bevor das System in Verkehr gebracht wird, stets aktuell gehalten und ausreichend, damit Behörden die Konformität beurteilen können
• Aufzeichnungspflichten, automatische Protokollierung von Ereignissen (Logs) über die gesamte Lebensdauer des Systems, um die Nachvollziehbarkeit der Funktionsweise zu ermöglichen
• Transparenz und Information für Betreiber, klare Gebrauchsanweisungen einschliesslich Verwendungszweck, Genauigkeitsgrad, bekannter Einschränkungen und Umständen vorhersehbarer Fehlanwendung des Systems
• Menschliche Aufsicht, so gestaltet, dass eine wirksame Aufsicht durch natürliche Personen während der Nutzung möglich ist, einschliesslich der Fähigkeit, die Leistungsfähigkeit und Grenzen des KI-Systems vollständig zu verstehen, die Ergebnisse korrekt zu interpretieren und zu entscheiden, das System nicht zu verwenden oder seine Ergebnisse zu übersteuern
• Genauigkeit, Robustheit und Cybersicherheit, angemessene Niveaus müssen über den gesamten Lebenszyklus hinweg erreicht und aufrechterhalten werden
• Konformitätsbewertung, vor dem Einsatz, je nach Art des Systems
• Registrierung in der EU-Datenbank, Hochrisiko-KI-Systeme müssen vor dem Inverkehrbringen in der EU-Datenbank registriert werden
• Beobachtung nach dem Inverkehrbringen, Anbieter müssen ein der Art und dem Risiko des Systems angemessenes System zur Beobachtung nach dem Inverkehrbringen einrichten und dokumentieren

EU AI Act, Artikel 6-15 (Hochrisiko-Klassifizierung und Anforderungen), Anhang III (aufgeführte Hochrisikobereiche), finaler konsolidierter Text

KI-Systeme mit begrenztem Risiko unterliegen nicht den umfangreichen Dokumentations- und Aufsichtsanforderungen von Hochrisikosystemen, sie tragen jedoch spezifische Transparenzpflichten. Das Grundprinzip: Personen, die mit KI interagieren, müssen wissen, dass sie mit KI interagieren. Diese Stufe erfasst einen grossen Teil der KI-Systeme, die Organisationen heute einsetzen, darunter die meisten Chatbots, Tools zur Inhaltserstellung und Anwendungen für synthetische Medien.

Was unter begrenztes Risiko fällt:

• KI-Systeme, die für die direkte Interaktion mit natürlichen Personen konzipiert sind (Chatbots, virtuelle Assistenten, KI-Kundenservice-Agenten), müssen klar offenlegen, dass sie KI-gesteuert sind, sofern dies nicht aus dem Kontext offensichtlich ist
• KI-Systeme, die Bild-, Audio- oder Videoinhalte erzeugen oder manipulieren (Deepfakes, synthetische Medien, KI-generierte Bilder), deren Ausgabe muss maschinenlesbar als künstlich erzeugt oder manipuliert gekennzeichnet sein
• KI-Systeme, die Text erzeugen, der zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlicht wird, müssen als künstlich erzeugt gekennzeichnet werden, sofern keine redaktionelle Prüfung durch einen Menschen erfolgt
• Systeme zur Emotionserkennung und zur biometrischen Kategorisierung (sofern nicht nach Stufe 1 verboten), müssen die betroffenen Personen über den Betrieb des Systems informieren und personenbezogene Daten gemäss DSGVO verarbeiten

Compliance-Pflichten:

• Offenlegung, Anbieter müssen sicherstellen, dass für die direkte Interaktion mit Menschen bestimmte KI-Systeme so gestaltet sind, dass Personen darüber informiert werden, dass sie mit einem KI-System interagieren, sofern dies nicht aus den Umständen und dem Nutzungskontext offensichtlich ist
• Kennzeichnung synthetischer Inhalte, Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben in einem maschinenlesbaren Format als künstlich erzeugt oder manipuliert gekennzeichnet sind
• Pflichten für Betreiber bei Deepfakes, Betreiber müssen offenlegen, dass Inhalte künstlich erzeugt oder manipuliert wurden, wenn es sich um einen Deepfake handelt, ausser zu künstlerischen, satirischen oder fiktionalen Zwecken mit geeigneten Schutzvorkehrungen

EU AI Act, Artikel 50, Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme, finaler konsolidierter Text

Die grosse Mehrheit der heute eingesetzten KI-Systeme fällt in diese Stufe. KI-fähige Videospiele, Spamfilter, Bestandsverwaltungssysteme, KI-gestützte Suchalgorithmen, KI-gestützte Fertigungsoptimierung, all dies ist minimales Risiko. Der EU AI Act erlegt KI-Systemen mit minimalem Risiko keine spezifischen regulatorischen Pflichten auf, abgesehen davon, dass er die freiwillige Anwendung von Verhaltenskodizes fördert.

Beispiele für KI-Systeme mit minimalem Risiko:

• KI-gestützte Spamfilter und E-Mail-Kategorisierung
• KI-fähige Videospiele und Unterhaltungsanwendungen
• KI-gesteuerte Bestandsverwaltung und Lieferkettenoptimierung
• KI-gestützte Such- und Empfehlungsmaschinen (sofern nicht in Hochrisikokontexten wie Beschäftigung oder Bildung eingesetzt)
• KI-gestützte Qualitätskontrolle und Prozessoptimierung in der Fertigung
• KI-gestützte Sprachübersetzungstools (sofern keine an die Öffentlichkeit gerichteten Inhalte erzeugt werden)
• Robotergestützte Prozessautomatisierung (RPA) mit KI-Komponenten für routinemässige Verwaltungsaufgaben

Was «keine spezifischen Pflichten» tatsächlich bedeutet:

• Keine verpflichtende Dokumentation, Konformitätsbewertung oder Registrierungsanforderungen nach dem AI Act
• Die EU-Kommission empfiehlt (verlangt jedoch nicht), dass Anbieter von KI mit minimalem Risiko die Grundsätze vertrauenswürdiger KI freiwillig anwenden und freiwilligen Verhaltenskodizes folgen
• Andere Vorschriften gelten weiterhin . DSGVO, branchenspezifische Vorschriften, Produktsicherheitsregeln und Arbeitsrecht regeln diese Systeme weiterhin unabhängig vom AI Act
• Die Klassifizierung kann sich ändern, wenn ein System mit minimalem Risiko für einen Hochrisiko-Anwendungsfall umgewidmet wird (z. B. die Anpassung einer KI zur Bestandsoptimierung für die Leistungsüberwachung von Mitarbeitenden), löst dies eine Neuklassifizierung aus

EU AI Act, Artikel 95, Verhaltenskodizes für die freiwillige Anwendung, Erwägungsgrund 28, risikobasierter Ansatz, finaler konsolidierter Text