Klausel 9: Performance Evaluation
Du hast dein AIMS aufgebaut und betreibst es. Aber woher weißt du, ob es funktioniert? Klausel 9 gibt dir die Werkzeuge, um das herauszufinden.
Worum es geht
Klausel 9 ist die "Check"-Phase im PDCA-Zyklus. Du überprüfst, ob dein AIMS das tut, was es soll. Drei Mechanismen stehen dir dafür zur Verfügung:
- Monitoring and Measurement (laufende Überwachung)
- Internal Audit (systematische Prüfung)
- Management Review (Bewertung durch die Geschäftsführung)
Alle drei sind Pflicht. Und alle drei müssen dokumentiert werden.
9.1 Monitoring, Measurement, Analysis and Evaluation
Was du tun musst
Du musst festlegen:
- Was du überwachst und misst
- Wie du es misst (Methoden, die valide Ergebnisse liefern)
- Wann du es misst (Zeitpunkte und Frequenz)
- Wer analysiert und bewertet die Ergebnisse
Und du musst die Ergebnisse als Documented Information aufbewahren.
Konkret für KI-Systeme
Monitoring bei KI-Systemen bedeutet zum Beispiel: Wie genau ist dein Qualitätskontrolle-Modell noch? Wie viele False Positives produziert dein Spam-Filter? Wie oft übersteuern Schichtleiter die Empfehlungen deines Produktionsoptimierers?
Das sind KPIs, die du regelmäßig messen und dokumentieren musst. Nicht einmal im Jahr, sondern so oft, wie es für das jeweilige System sinnvoll ist. Ein Modell, das Echtzeitentscheidungen trifft, braucht häufigeres Monitoring als eines, das einmal im Quartal einen Bericht erstellt.
Was viele falsch machen
Kein Monitoring-Plan. Viele Unternehmen betreiben ihre KI-Systeme, ohne definiert zu haben, was sie eigentlich überwachen. Die KI läuft, und solange niemand sich beschwert, wird nichts gemessen.
Ergebnisse nicht dokumentiert. Monitoring findet statt, aber es gibt keine schriftlichen Berichte. Im Audit fehlt dann die Evidenz.
9.2 Internal Audit: Systematisch prüfen
Was du tun musst
Du musst ein internes Auditprogramm planen und durchführen. Dieses Programm muss festlegen, wie oft Audits stattfinden, welche Bereiche geprüft werden und wer auditiert.
Die Audits müssen zwei Dinge prüfen:
Konformität: Entspricht dein AIMS den Anforderungen der Norm und deinen eigenen Vorgaben?
Wirksamkeit: Funktioniert dein AIMS tatsächlich? Erreicht es die Intended Outcomes? Oder existiert es nur auf dem Papier?
Auditor Independence
Der Auditor darf nicht seinen eigenen Bereich auditieren. Das ist eine fundamentale Anforderung an die Objektivität. Wenn dein KI-Beauftragter gleichzeitig der einzige interne Auditor ist, hast du ein Problem.
In kleineren Unternehmen ist das eine Herausforderung. Lösungen gibt es: externe Auditoren einsetzen, Bereiche tauschen (der Qualitätsmanager auditiert KI, der KI-Beauftragte auditiert Qualität), oder ein Netzwerk mit anderen Unternehmen aufbauen.
Documented Information
Die Audit-Ergebnisse müssen dokumentiert werden. Findings, Conclusions, Empfehlungen. Das ist Pflichtdokumentation.
9.3 Management Review: Die Chefetage bewertet
Was du tun musst
Das Top-Management muss das AIMS in geplanten Intervallen bewerten. Nicht delegiert an den KI-Beauftragten, nicht informell beim Mittagessen, sondern in einem strukturierten Management Review mit dokumentierten Ergebnissen.
Die erforderlichen Inputs
Die Norm definiert, welche Informationen in den Management Review einfließen müssen:
- Status der Maßnahmen aus früheren Reviews
- Veränderungen bei externen und internen Faktoren
- Feedback zur AIMS-Performance, einschließlich Trends bei Nonconformities, Monitoring-Ergebnissen und Audit-Findings
- Feedback von interessierten Parteien
- Ergebnisse des Risk Assessments und Status des Treatment Plans
- Möglichkeiten zur kontinuierlichen Verbesserung
Wenn dein Management Review nur aus einer Folie "AIMS läuft gut" besteht, fehlen die strukturierten Inputs.
Suitability, Adequacy, Effectiveness
Das Top-Management muss drei Qualitäten des AIMS bewerten:
Suitability (Eignung): Passt das AIMS noch zu unserem Kontext? Hat sich etwas geändert?
Adequacy (Angemessenheit): Sind die Ressourcen und Prozesse angemessen? Haben wir genug investiert?
Effectiveness (Wirksamkeit): Erreicht das AIMS seine Ziele? Funktioniert es in der Praxis?
Alle drei müssen explizit bewertet werden. Nicht nur "funktioniert" oder "funktioniert nicht", sondern differenziert.
Die 5 häufigsten Fehler bei Klausel 9
1. Kein definierter Monitoring-Plan. KI-Systeme laufen ohne festgelegte KPIs und Überwachungsintervalle.
2. Audit-Programm fehlt. Keine geplanten Audits, keine definierten Scope-Bereiche, kein Zeitplan.
3. Auditor nicht unabhängig. Der KI-Beauftragte auditiert seinen eigenen Bereich.
4. Management Review ohne strukturierte Inputs. Die Geschäftsführung bekommt einen Status-Update, aber kein vollständiges Review mit allen geforderten Inputs.
5. Suitability, Adequacy, Effectiveness nicht getrennt bewertet. Das Review sagt "läuft", aber differenziert nicht zwischen den drei Bewertungsdimensionen.
→ Weiter: Klausel 10, Verbesserung → Zurück zur Übersicht
Begriffe in diesem Artikel: Performance Evaluation, Monitoring, Measurement, KPI, Internal Audit, Auditor Independence, Management Review, Suitability, Adequacy, Effectiveness, Conformity, Nonconformity, Documented Information