Ergebnisorientierte Qualitätskriterien (QE)

QE 1

(Lernende) KI-Systeme brauchen Monitoring: Für das Monitoring der KI wird mit dem PdV ein Verfahren abgestimmt und ein Set von Reaktionen auf Zwischenfälle ist entwickelt.

D4: Abnahme der Software durch das PdV und Absprache zum kontinuierlichen Monitoring

Frage 2: Wurde von den relevanten Akteur:innen (u.a. PdV und PO) entschieden, ob ein Monitoring der laufenden Anwendung gemäß den formulierten Anforderungen notwendig ist? Falls ja, wurde das Monitoring spezifiziert, sodass bei Über- oder Unterschreitung von bestimmten Schwellwerten (KPIs) oder dem Auftreten von Fehlern eine Benachrichtigung erfolgt?

(Dokumentationstext):

Frage 3: Wurde von den relevanten Akteur:innen (u.a. PdV und PO) definiert, wie die Anforderungen des PdV im kontinuierlichen Monitoring berücksichtigt werden?

(Dokumentationstext):

D8: Monitoring/Betriebsüberwachung

Frage 1: Existiert ein Software-Monitoring-Tool mit zugehörigem Dashboard, mit dem die relevanten Beobachtungsgrößen (KPIs) mit Bezug zu Diversität im laufenden Betriebes überblickt werden können?

(Dokumentationstext)

Frage 2: Können entsprechende Abweichungen von den erwarteten Werten gemeldet und weiterverfolgt werden?

(Dokumentationstext)

Frage 3: Gibt es die Rolle des „Human in Command“, der die Chance hat, mit diesem Dashboard die Autonomiestufe des Systems zu verändern oder gar die KI zu deaktivieren?

(Dokumentationstext)

QE 2

KI-Systeme müssen anpassbar sein: Das KI-System wurde so entwickelt, dass es jederzeit angepasst werden kann, z. B. aufgrund von geänderten Anforderungen

B5: Erstellung Ausschreibung (nur bei Einkauf)

Frage 1: Ist eine Ausschreibung für den Einkauf einer Softwareanwendung erstellt worden, in der kenntlich gemacht wird, dass die Softwareanbieter:in bereit sein muss, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des Gremiums und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext) Anhang Ausschreibung

B6: Suche und Auswahl Software-Anbieter (nur bei Einkauf)

Frage 1: Ist eine Software-Anbieter:in ausgewählt worden, die bereit ist, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des PdV und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext)

D9: Fehlerbehebung/Change Request

Frage 1: Gibt es für die zuständigen Akteur:innen (ggfs. PdV) die Chance, neue Anforderungen an die Software zu stellen, und somit aktiv auf das Backlog Einfluss zu nehmen?

(Dokumentationstext)

Frage 2: Gibt es für dringende Fälle die Möglichkeit, direkt den Betriebs-Support zu kontaktieren?

(Dokumentationstext)

QE 3

Ein sachgerecht durchgeführter KIDD-Prozess fördert die Akzeptanz der einzuführenden KI-Lösung und erhöht ihre Qualität.

A9: Überprüfung der internen Regelkonformität

Frage 1: Wurden die relevanten internen Policies und Vereinbarungen bezüglich Digitalisierung, Ethik, Diversität und Nachhaltigkeit identifiziert und in den Prozess integriert?

(Dokumentationstext) Im Rahmen des KIDD-Prozesses hat die Projektleitung zusammen mit den zuständigen Abteilungen und der Diversity-Beauftragten eine Liste der relevanten internen Policies und Vereinbarungen erstellt.

A12: Einrichtung des PdV

Frage 1: Wie erfolgte die Besetzung und Einrichtung des PdV?

(Dokumentationstext): Für die Besetzung des PdV wurde folgendes Verfahren gewählt: Unternehmensweiter Ausschreibung oder Direktansprache. Das Verfahren Unternehmensweite Ausschreibung/Direktansprache wurde gewählt, weil die Vorteile (hier beispielhafte Aufzählung) die möglichen Nachteile (hier beispielhafte Aufzählung) überwogen haben.

Frage 2: Ist das PdV vielfältig in seine Zusammensetzung?

(Dokumentationstext): Folgende Besetzungskriterien kamen bei der Einrichtung des PdV im Sinne einer Matrix zur Anwendung:

1. Kriterien nach Funktion im Unternehmen (z.B. Unternehmensleitung/Geschäftsführung, Führungskraft, gewählte Mitarbeitervertretungen wie Betriebs- oder Personalräten, Gleichstellungs- und Behindertenbeauftragte, HR-Abteilung, Datenschutzbeauftrage, IT-Abteilung, Mitarbeiter*innen die von den Veränderungen betroffen, sind Nutzer*innen der Anwendung)

2. Kriterien nach Vielfalts- oder potenzieller Diskriminierunsdimension (Alter, Geschlecht/geschlechtliche Identität, ethnische Herkunft/nationalität, fachlicher Hintergrund, Dauer der Beschäftigung). Individuelle Ergänzungen:….

B2: Partizipative Folgenabschätzung

Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?

(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.