Die Rollen im KI-Ökosystem
Bist du Anbieter, Entwickler, Nutzer oder Betroffener? Deine Rolle bestimmt, welche Pflichten du hast.
Warum Rollen so wichtig sind
In der klassischen IT gibt es einen Hersteller und einen Kunden. Bei KI ist das komplizierter. Ein KI-System durchläuft auf seinem Weg vom Algorithmus zum Produkt mehrere Hände. Wer welche Verantwortung trägt, hängt davon ab, welche Rolle dein Unternehmen in dieser Kette einnimmt.
ISO 42001 definiert sechs Rollen. Dein Unternehmen kann mehrere gleichzeitig haben. Ein Maschinenbauer, der ein eigenes Optimierungstool entwickelt (AI Producer), eine externe Qualitätskontrolle-KI einsetzt (AI Customer) und gleichzeitig die Ergebnisse an OEM-Kunden liefert (AI Provider), hat drei Rollen gleichzeitig. Und jede bringt eigene Anforderungen mit.
AI Provider: Du stellst KI bereit
Was das bedeutet
Du entwickelst oder betreibst ein KI-System, das andere Organisationen nutzen. Du bist der Lieferant. Deine Kunden verlassen sich darauf, dass dein System funktioniert, sicher ist und die versprochenen Ergebnisse liefert.
Welche Pflichten daraus folgen
Als AI Provider trägst du die umfangreichsten Pflichten. Du musst dein System dokumentieren, validieren, überwachen und deine Kunden über Änderungen informieren. Wenn du ein Modell-Update ausrollst, müssen deine Kunden das wissen, bevor es passiert, nicht danach.
Du bist verantwortlich für die technische Qualität, die Datenqualität der Trainingsdaten, die Sicherheit des Systems und die Transparenz gegenüber deinen Kunden.
Beispiel aus der Praxis
TechVision AG ist der AI Provider der Musterfirma. Sie liefern das QualiScan-System und sind verantwortlich für Modell-Updates, Re-Training und technische Wartung. Die Musterfirma als AI Customer muss die Schnittstelle dokumentieren und kontrollieren, aber die technische Verantwortung liegt bei TechVision.
AI Producer: Du baust KI
Was das bedeutet
Du entwickelst und trainierst KI-Systeme. Das kann in deinem eigenen Unternehmen sein (internes Data-Science-Team) oder als Dienstleistung für andere.
Der Unterschied zum AI Provider
AI Producer und AI Provider können dieselbe Organisation sein, müssen es aber nicht. Ein Forschungsinstitut, das ein Modell entwickelt (Producer), lizenziert es an ein Softwarehaus (Provider), das es vermarktet. Oder: Dein internes Team entwickelt ein Optimierungsmodell (Producer), das du selbst nutzt (Customer). Dann bist du beides.
Welche Pflichten daraus folgen
Als AI Producer bist du verantwortlich für das Design, die Architektur, die Auswahl der Trainingsdaten und die Validierung des Systems. Du musst sicherstellen, dass das System fair ist, keine systematischen Verzerrungen enthält und die definierten Anforderungen erfüllt.
Verification (haben wir es richtig gebaut?) und Validation (haben wir das Richtige gebaut?) liegen bei dir.
AI Customer: Du nutzt KI
Was das bedeutet
Du setzt ein KI-System in deinem Unternehmen ein. Das ist die häufigste Rolle für KMU. Du hast die KI nicht gebaut, aber du bist verantwortlich für den Einsatz in deinem Kontext.
Welche Pflichten daraus folgen
Als AI Customer trägst du die Verantwortung für den verantwortungsvollen Einsatz. Das bedeutet: Du definierst, wofür das System genutzt wird. Du überwachst, ob es korrekt funktioniert. Du stellst sicher, dass Betroffene informiert sind. Und du dokumentierst die Schnittstelle zu deinem AI Provider.
Wenn dein AI Provider sein Modell ändert und dadurch deine Qualitätskontrolle schlechtere Ergebnisse liefert, bist du als AI Customer verantwortlich für die Konsequenzen in deinem Betrieb. Nicht der Provider. Du hättest das Monitoring haben müssen, das die Verschlechterung erkennt.
Beispiel aus der Praxis
Die Musterfirma ist AI Customer für QualiScan (von TechVision) und für PredMaint (auf AWS). Für ProduktionsOptima ist sie gleichzeitig AI Producer und AI Customer, weil das System intern entwickelt wurde.
AI User: Du arbeitest damit
Was das bedeutet
Du bist die Person, die das KI-System im Alltag bedient. Der Schichtleiter, der die Empfehlung des Produktionsoptimierers auf dem Bildschirm sieht. Die Qualitätsprüferin, die neben der automatischen Sortierung steht. Der Sachbearbeiter, der die KI-gestützte E-Mail-Zuordnung überprüft.
Welche Pflichten daraus folgen
AI User müssen wissen, wie das System funktioniert, welche Grenzen es hat und wann sie eingreifen sollen. Das ist eine Kompetenz-Anforderung (Klausel 7.2) und eine Awareness-Anforderung (Klausel 7.3).
Ein AI User, der nicht versteht, was die KI tut, kann keine sinnvolle Human Oversight ausüben. Deshalb sind Schulungen und klare Handlungsanweisungen für AI User so wichtig.
AI Subject: Die KI entscheidet über dich
Was das bedeutet
AI Subjects sind die Menschen, über die ein KI-System Entscheidungen trifft oder aus deren Daten es Informationen ableitet. Sie sind die Betroffenen. Und sie sind die Gruppe, die in ISO 42001 den meisten Schutz genießt.
Warum diese Rolle einzigartig ist
In ISO 9001 gibt es Kunden. In ISO 27001 gibt es betroffene Personen im Datenschutz-Sinne. Aber eine explizite Rolle für "die Person, über die ein System entscheidet" gibt es nur in ISO 42001.
AI Subjects haben oft drei Eigenschaften, die sie besonders schutzbedürftig machen:
Sie haben keine Wahl. Wenn dein Bewerbungstool Lebensläufe vorsortiert, können Bewerber nicht sagen "ich möchte bitte nicht von der KI bewertet werden". Sie müssen mitmachen oder sich nicht bewerben.
Sie wissen es nicht. Viele AI Subjects wissen nicht einmal, dass eine KI an der Entscheidung beteiligt ist. Der Kunde, der eine automatisch generierte Preisempfehlung bekommt, sieht nur den Preis, nicht den Algorithmus.
Sie können sich nicht wehren. Wenn eine KI dich falsch bewertet, fehlerhafte Daten über dich ableitet oder dich systematisch benachteiligt, hast du als AI Subject kaum Möglichkeiten, das zu erkennen und dagegen vorzugehen.
Welche Pflichten daraus folgen
Genau deshalb fordert ISO 42001, dass du AI Subjects identifizierst, ihre Interessen berücksichtigst und Transparenz herstellst. Das Impact Assessment (Klausel 6.1.4) bewertet die Auswirkungen auf AI Subjects. Die Transparency Controls (Annex A.8) stellen sicher, dass Betroffene informiert werden.
Beispiele
| Dein KI-System | Wer ist AI Subject? | |---|---| | Bewerbungstool | Die Bewerber | | Qualitätskontrolle | Endverbraucher (Produktsicherheit), Mitarbeiter (Rollenveränderung) | | Schichtplaner | Mitarbeiter, deren Arbeitszeiten beeinflusst werden | | Chatbot | Kunden, die mit der KI interagieren | | Kreditscoring | Antragsteller | | E-Mail-Triage | Kunden, deren Anfragen zugeordnet werden |
AI Partner: Du lieferst einen Baustein
Was das bedeutet
Du bist Teil der KI-Lieferkette, ohne selbst das KI-System zu bauen oder zu betreiben. Du lieferst Daten, Infrastruktur, Schnittstellen oder Komponenten.
Beispiele
Dein Cloud-Provider (AWS, Azure) ist ein AI Partner. Dein Datenlieferant ist ein AI Partner. Der Integrator, der die Schnittstelle zwischen deinem ERP und dem KI-System gebaut hat, ist ein AI Partner.
Welche Pflichten daraus folgen
AI Partner müssen im Scope deines AIMS berücksichtigt werden (Klausel 4.3, Schnittstellen). Die Controls in Annex A.10 (Third-Party Relationships) regeln, wie du die Beziehung steuerst: Verträge, Anforderungen, Kontrolle, Kommunikation bei Änderungen.
Kann ich mehrere Rollen gleichzeitig haben?
Ja. Das ist sogar der Normalfall. Die Musterfirma hat drei Rollen:
- AI Customer für QualiScan (von TechVision) und PredMaint (auf AWS)
- AI Producer für ProduktionsOptima (Eigenentwicklung)
- AI Customer für ProduktionsOptima (nutzt die Eigenentwicklung selbst)
Jede Rolle bringt eigene Anforderungen mit. Dein AIMS muss alle abdecken.
Zusammenfassung
| Rolle | Die Kernfrage | Pflichten-Schwerpunkt | |---|---|---| | AI Provider | Du stellst KI bereit? | Dokumentation, Transparenz, Modell-Management | | AI Producer | Du baust KI? | Design, Datenqualität, Verification, Validation | | AI Customer | Du nutzt KI? | Verantwortungsvoller Einsatz, Monitoring, Schnittstellen | | AI User | Du arbeitest damit? | Kompetenz, Awareness, Human Oversight | | AI Subject | KI entscheidet über dich? | Schutz, Transparenz, Impact Assessment | | AI Partner | Du lieferst einen Baustein? | Verträge, Schnittstellen, Kommunikation |
→ Zurück zur Übersicht → Annex A: Die 38 Controls → Glossar
Begriffe in diesem Artikel: AI Provider, AI Producer, AI Customer, AI User, AI Subject, AI Partner, Verification, Validation, Human Oversight, Impact Assessment, Transparency, Data Quality, Model Drift, Supplier Management, Statement of Applicability (SoA)