Pflichten für Betreiber und Anbieter von Hochrisiko-KI-Systemen

Die Einordnung eines KI-Systems als Hochrisiko-KI-System hat weitreichende Konsequenzen für Betreiber und Anbieter. Die EU-KI-Verordnung (KI-VO) stellt strenge Anforderungen an solche Systeme, um Transparenz, Fairness und Sicherheit zu gewährleisten. Doch welche konkreten Pflichten ergeben sich daraus? In diesem Artikel beleuchten wir die wesentlichen Verpflichtungen für Betreiber und Anbieter von Hochrisiko-KI-Systemen.

Begriffsdefinition: Anbieter und Betreiber

• Anbieter: Der Anbieter eines KI-Systems ist das Unternehmen oder die Organisation, die das KI-System entwickelt, herstellt oder in den Verkehr bringt. Anbieter tragen die Hauptverantwortung für die technische Sicherheit, die Konformität mit regulatorischen Anforderungen und die Bereitstellung notwendiger Informationen für den rechtssicheren Einsatz.
• Betreiber: Der Betreiber eines KI-Systems ist die Partei, die das System in einer konkreten Umgebung einsetzt. Dies kann beispielsweise ein Unternehmen sein, das eine KI zur Bewerberauswahl nutzt. Der Betreiber muss sicherstellen, dass das System im Einklang mit den rechtlichen Anforderungen genutzt wird und die betroffenen Personen ausreichend informiert werden.

Pflichten des Anbieters eines Hochrisiko-KI-Systems

Anbieter von Hochrisiko-KI-Systemen sind diejenigen, die die Software entwickeln und in Verkehr bringen. Sie tragen eine besondere Verantwortung für die Sicherheit und Zuverlässigkeit ihres Produkts. Die KI-VO sieht insbesondere folgende Pflichten vor:

1. Risikomanagementsystem
   • Anbieter müssen ein umfassendes Risikomanagementsystem implementieren, um potenzielle Gefahren ihrer KI zu identifizieren und zu minimieren.
   • Die Risiken müssen während des gesamten Lebenszyklus des Systems kontinuierlich überwacht werden.
2. Datenqualität und Verzerrungsvermeidung
   • Die Trainingsdaten dürfen keine diskriminierenden Verzerrungen enthalten.
   • Anbieter müssen sicherstellen, dass die Daten repräsentativ, relevant und fehlerfrei sind.
3. Dokumentations- und Meldepflichten
   • Es muss eine technische Dokumentation erstellt werden, die nachvollziehbar darlegt, wie das KI-System funktioniert.
   • Anbieter müssen schwere Vorfälle oder Fehlfunktionen der KI an die zuständigen Behörden melden.
4. Transparenzanforderungen
   • Nutzer und betroffene Personen müssen darüber informiert werden, dass sie mit einer KI interagieren.
   • Die Funktionsweise und Entscheidungslogik der KI muss nachvollziehbar und erklärbar sein.
5. Zertifizierung und CE-Kennzeichnung
   • Vor dem Inverkehrbringen eines Hochrisiko-KI-Systems muss dieses eine Konformitätsbewertung durchlaufen und mit einer CE-Kennzeichnung versehen werden.

Pflichten des Betreibers eines Hochrisiko-KI-Systems

Der Betreiber ist das Unternehmen oder die Organisation, die das KI-System einsetzt, um Entscheidungen zu treffen oder Prozesse zu automatisieren. Auch für ihn gelten strenge Anforderungen:

1. Einhaltung der Anbieter-Vorgaben
   • Der Betreiber muss sicherstellen, dass das KI-System ordnungsgemäß verwendet wird und die Vorgaben des Anbieters beachtet werden.
2. Menschliche Aufsicht und Kontrolle
   • Hochrisiko-KI-Systeme dürfen nicht vollkommen autonom agieren. Ein Mensch muss die Entscheidungen überwachen und bei Bedarf eingreifen können.
3. Schulung und Sensibilisierung
   • Die Mitarbeiter, die mit dem KI-System arbeiten, müssen entsprechend geschult werden, um die Funktionsweise und mögliche Risiken zu verstehen.
4. Protokollierung und Monitoring
   • Betreiber müssen sicherstellen, dass das KI-System protokolliert, welche Entscheidungen es trifft, um eine nachträgliche Prüfung zu ermöglichen.
   • Regelmäßige Audits sind erforderlich, um sicherzustellen, dass das System korrekt funktioniert und keine unerwarteten Risiken entstehen.
5. Wahrung der Betroffenenrechte
   • Nutzer müssen darüber informiert werden, wenn eine Entscheidung von einer KI getroffen wurde.
   • Betroffene Personen haben das Recht, Erklärungen zu erhalten und Entscheidungen anzufechten.

Fazit

Die Klassifizierung eines KI-Systems als Hochrisiko bringt erhebliche regulatorische Anforderungen mit sich. Während Anbieter vor allem für die technische Sicherheit, Transparenz und Dokumentation verantwortlich sind, liegt es in der Pflicht der Betreiber, das System rechtskonform einzusetzen und eine menschliche Kontrolle sicherzustellen. Unternehmen, die solche Systeme nutzen oder entwickeln, sollten sich frühzeitig mit den Anforderungen auseinandersetzen, um Compliance-Risiken zu vermeiden.