> For the complete documentation index, see [llms.txt](https://kidd-handbuch.gitbook.io/kuenstliche-intelligenz-im-dienste-der-diversitaet/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://kidd-handbuch.gitbook.io/kuenstliche-intelligenz-im-dienste-der-diversitaet/anhange/tools-und-handreichungen/abschnitt-d-test-and-inbetriebnahme/d8-monitoring-betriebsueberwachung.md).

# D8: Monitoring/Betriebsüberwachung

## Monitoring-System im Produktiv-Betrieb

Um zu überprüfen, ob die mit Anforderungen definierten Messwerte ([B3](/kuenstliche-intelligenz-im-dienste-der-diversitaet/anhange/tools-und-handreichungen/abschnitt-b-anforderungsklaerung/b3-allgemeine-pdv-anforderungsklaerung.md), [C2](/kuenstliche-intelligenz-im-dienste-der-diversitaet/der-kidd-prozess/ebene-3-kidd-prozess-schritt-fuer-schritt-im-detail/abschnitt-c-adaption-entwicklung/schritt-a1-kenntnisnahme-kidd-1.md)) im laufenden Betrieb tatsächlich die erwarteten Bedingungen erfüllen, sind Monitoring-Tasks sinnvoll, welche automatisch ausgeführt werden und mit bestimmten Aktionen verknüpft werden können.

Diese Monitoring-Tasks werden dann in ein automatisches Monitoring-System eingespeist, welche diese Tasks automatisch ausführt. Auf diese Art können die definierten Anforderungen im laufenden Betrieb überprüft werden und nachgeschärft werden.

| Regel Kennung                   |
| ------------------------------- |
| *(Prägnante Kennung der Regel)* |

| Bedingung                                                                 | Zeitintervall: Wann, wie häufig wird die Bedingung überprüft? | Aktion                                              |
| ------------------------------------------------------------------------- | ------------------------------------------------------------- | --------------------------------------------------- |
| *(unter welcher Bedingung soll eine Aktion stattfinden)*                  | *(pro Zeiteinheit, bei jeder x-ten Durchführung)*             | *(Was passiert, wenn die Bedingung erfüllt ist)*    |
| Diskriminierungsrate[^1] > 5 % für Minderheitsgruppe X                    | Alle 24 Stunden                                               | Senden einer E-Mail an das PdV / Entwickler-Team    |
| Fairness-Index[^2] < 0,9 zwischen Gruppe A und Gruppe B                   | Jede Woche                                                    | Planen eines Treffens zur Fairness-Analyse          |
| [Anzahl der Bias-Beschwerden](#user-content-fn-3)[^3] > 10 in einem Monat | monatlich                                                     | Durchführung einer tiefgreifenden Bias-Untersuchung |

Es ist zu beachten, dass das Erkennen von Bias in KI oft komplexer als hier dargestellt ist und nicht nur durch einfache Metriken oder Schwellenwerte erfasst werden kann. Die oben genannten Punkte sind als Beispiele zu verstehen.

[^1]: **Beispiel:** Das Verhältnis von Vorhersagen, die eine bestimmte Gruppe (z.B. eine ethnische Minderheit) benachteiligen, zur Gesamtzahl der Vorhersagen

[^2]: **Beispiel:** Ein Maß dafür, wie ähnlich die Vorhersage-Ergebnisse zwischen verschiedenen Gruppen sind

[^3]: **Beispiel:** Wie oft Benutzer oder andere Stakeholder melden, dass sie glauben, das System sei voreingenommen oder diskriminierend