Qualitätskriterien zum Strukturaufbau (QS)

PreviousSelbstauditierung anhand der Qualitätskriterien NextQualitätskriterien zur Durchführung des KIDD-Prozesses (QP)

Last updated 9 months ago

Qualitätskriterien zum Strukturaufbau (QS)

QS 1

Bei Einführung von KI steigert eine frühzeitige breite Beteiligung Akzeptanz und Qualität: Stakeholder und Mitarbeitenden- sowie Betroffenenvertretungen, insbesondere der Betriebsrat, werden bei Anschaffungs- und Einführungsprozessen von IT und KI frühzeitig / von Beginn / nach einer ersten Ideenphase eingebunden. Die partizipative Gestaltung dieser Prozesse wird als Führungs- und Gemeinschaftsaufgabe verstanden.

Frage 1: Wurden Stakeholder identifiziert?

(Dokumentationstext) Eine Stakeholderanalyse wurde am xx.xx.xxxx durchgeführt.

Frage 2: Wurden Stakeholder über den KIDD-Prozess informiert?

(Dokumentationstext) Stakeholder wurden am xx.xx.xxxx über den KIDD-Prozess informiert.

Frage 3: Haben sich die relevanten Stakeholder für die Durchführung des KIDD-Prozesses entschieden?

(Dokumentationstext) Ein Beschluss zur Durchführung des KIDD-Prozesses wurde am xx.xx.xxxx getroffen.

Frage 4: Haben die Stakeholder den konkreten Anwendungsfall, für den der KIDD-Prozess durchgeführt werden soll, festgelegt?

(Dokumentationstext) Der konkrete Anwendungsfall betrifft die Einführung der Anwendung xy.

Frage 1: Wurde nach erfolgreichem Software-Test und Monitoring-Abkommen die Entscheidung getroffen, die Software produktiv einzusetzen?

(Dokumentationstext):

QS 2

Für die Steuerung und Durchführung des KIDD-Prozesses werden ausreichende personelle Ressourcen bereitgestellt

Frage 2: Eine KI-Moderation (KIM) wurde bestimmt und hat die Schulung zur KIM abgeschlossen.

(Dokumentationstext) Bitte dokumentieren Sie kurz den Qualifikations- und Erfahrungshintergrund der KIM und das Abschlusszertifikat der KIM-Schulung.

Frage 1: Wie erfolgte die Besetzung und Einrichtung des PdV?

(Dokumentationstext): Für die Besetzung des PdV wurde folgendes Verfahren gewählt: Unternehmensweiter Ausschreibung oder Direktansprache. Das Verfahren Unternehmensweite Ausschreibung/Direktansprache wurde gewählt, weil die Vorteile (hier beispielhafte Aufzählung) die möglichen Nachteile (hier beispielhafte Aufzählung) überwogen haben.

Frage 1: Ist ein Konstituierungsworkshop durchgeführt worden?

(Dokumentationstext) Bitte dokumentieren Sie den Konstituierungsworkshop des PdV:

Einladung
Teilnehmendenliste
Programm, ggf. Präsentationen
Protokoll inkl. der Ergebnisse der Abschlussrunde zur weiteren Arbeitsweise und Zufriedenheit

Frage 2: Hat sich das PdV formal als arbeitsfähiges Gremium konstituiert?

(Dokumentationstext) Ein Plan zur weiteren Arbeitsweise des PdV wurde aufgestellt.

Frage 1: Existiert ein Software-Monitoring-Tool mit zugehörigem Dashboard, mit dem die relevanten Beobachtungsgrößen (KPIs) mit Bezug zu Diversität im laufenden Betriebes überblickt werden können?

(Dokumentationstext)

Frage 2: Können entsprechende Abweichungen von den erwarteten Werten gemeldet und weiterverfolgt werden?

(Dokumentationstext)

Frage 3: Gibt es die Rolle des „Human in Command“, der die Chance hat, mit diesem Dashboard die Autonomiestufe des Systems zu verändern oder gar die KI zu deaktivieren?

(Dokumentationstext)

QS 3

Diversität der Perspektiven im Prozess wird durch ein Panel der Vielfalt sichergestellt. Die Unternehmensleitung setzt ggf. in Abstimmung mit dem Betriebsrat in einem transparenten Prozess ein divers besetztes innerbetriebliches, demokratisches Beteiligungsgremium, das Panel der Vielfalt (PdV) ein und verabredet klare Regeln der Zusammenarbeit sowie dessen Gestaltungs- und Entscheidungsspielräume.

Frage 1: Wurden konkrete Zielsetzungen und Rahmenbedingungen des KIDD-Prozesses definiert?

(Dokumentationstext) Beschreiben Sie die konkreten Ziele, die mit der Durchführung des KIDD-Prozesses verfolgt werden (z.B. Aufbau von Vertrauen in die einzuführende Software, Entwicklung einer diskriminierungssensiblen Softwareanwendung, etc).

Beschreiben Sie die Rahmenbedingungen für die Durchführung des KIDD-Prozesses (z. B. voraussichtliche Anzahl und Zeitpunkte der Workshops mit dem PdV, Regeln der Zusammenarbeit mit dem PdV, etc.)

Frage 2: Wurden klare Absprachen zum Grad der Einflussnahme des PdV bei der Einführung bzw. Entwicklung der Softwareanwendung getroffen und wurde sichergestellt, dass das PdV zumindest umfassend eingebunden wird?

(Dokumentationstext) Beschreiben Sie, welcher Grad der Einflussnahme bzw. wie viel Entscheidungsmacht dem PdV bei der Einführung bzw. Entwicklung der Softwareanwendung eingeräumt wird. Inwieweit wird sichergestellt, dass das PdV zumindest umfassend eingebunden wird (siehe Handreichung zum Grad der Einflussnahme und Diskussionsspielraum des PdV)?

Frage 1: Wie erfolgte die Besetzung und Einrichtung des PdV?

Frage 2: Ist das PdV vielfältig in seine Zusammensetzung?

(Dokumentationstext): Folgende Besetzungskriterien kamen bei der Einrichtung des PdV im Sinne einer Matrix zur Anwendung:

Kriterien nach Funktion im Unternehmen (z.B. Unternehmensleitung/Geschäftsführung, Führungskraft, gewählte Mitarbeitervertretungen wie Betriebs- oder Personalräten, Gleichstellungs- und Behindertenbeauftragte, HR-Abteilung, Datenschutzbeauftrage, IT-Abteilung, Mitarbeiter*innen die von den Veränderungen betroffen, sind Nutzer*innen der Anwendung)
Kriterien nach Vielfalts- oder potenzieller Diskriminierunsdimension (Alter, Geschlecht/geschlechtliche Identität, ethnische Herkunft/nationalität, fachlicher Hintergrund, Dauer der Beschäftigung). Individuelle Ergänzungen:….

Frage 1: Ist ein Konstituierungsworkshop durchgeführt worden?

(Dokumentationstext) Bitte dokumentieren Sie den Konstituierungsworkshop des PdV:

Einladung
Teilnehmendenliste
Programm, ggf. Präsentationen
Protokoll inkl. der Ergebnisse der Abschlussrunde zur weiteren Arbeitsweise und Zufriedenheit

Frage 2: Hat sich das PdV formal als arbeitsfähiges Gremium konstituiert?

(Dokumentationstext) Ein Plan zur weiteren Arbeitsweise des PdV wurde aufgestellt.

Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?

(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.

Frage 1: Konnte das PdV und weitere relevante Stakeholder im Review Kenntnis über den aktuellen Stand der Software und die neu entwickelten Funktionalitäten erhalten und Rückfragen stellen?

(Dokumentationstext):

Frage 2: Hilft das Review, damit PdV und weitere Stakeholder:innen ein gemeinsames Verständnis über die neu geschaffenen Funktionalitäten entwickeln?

(Dokumentationstext):

Frage 1: Kann das PdV die Software in Bezug auf die relevanten Qualitätskriterien wie Transparenz, Verständlichkeit, Zieldienlichkeit und Fairness bewerten?

(Dokumentationstext):

Frage 2: Hatte das PdV Gelegenheit festzustellen, ob der aktuelle Stand der Software den erstellen Anforderungen entspricht oder nicht?

(Dokumentationstext):

QS 4

Transparente Kommunikation ist für eine vertrauensvolle Einführung von KI von zentraler Bedeutung. Über den KIDD-Prozess wird regelmäßig und transparent unternehmensweit kommuniziert und (Zwischen-)Ergebnisse werden den Mitarbeitenden bereitgestellt.

Frage 2: Wurden Stakeholder über den KIDD-Prozess informiert?

(Dokumentationstext) Stakeholder wurden am xx.xx.xxxx über den KIDD-Prozess informiert.

Frage 1: Eine Projektstruktur für die Durchführung des KIDD-Prozesses ist im Unternehmen etabliert.

(Dokumentationstext): Bitte beschreiben Sie kurz:

Wie ist das KIDD-Projekt personell zusammengesetzt (strategische Projektleitung, operative Projektsteuerung etc.)?
Wie ist das KIDD-Projekt in der Unternehmensstruktur verankert?
Bitte skizzieren Sie entsprechend des üblichen Vorgehens in Ihrem Unternehmen, wie sie die Arbeitspakete des KIDD-Projekts finanziell und personell ausstatten (z.b. Personentage oder Budget)?:
- Projektmanagement (Kommunikation mit Unternehmensleitung, Risikomanagement, Finanzmanagement etc.)
- Basisschulungen und Arbeitstreffen des PdVs
- Abstimmungen mit Softwareentwicklung
- interne und externe Kommunikation der Arbeit des PdV
- Qualitätssicherung und Evaluation

Frage 1: Wurde die Belegschaft über die Hintergründe und die Durchführung des KIDD-Prozesses im Unternehmen informiert?

(Dokumentationstext): Der Belegschaft wurden folgende Informationen kommuniziert:

Was: Erläuterung des Anwendungsfalls (das allgorithmische Entscheidungssystem)
Wie: Erläuterung KIDD-Prozess
Wie: Erläuterung PdV als innerbetriebliches Gremium (Rolle und Aufgabe, Besetzungsprozess und ggf. schon Mitteilung der Mitglieder des PdV)

Frage 2 : Welche Kanäle wurden für die Information der Belegschaft verwendet?

(Dokumentationstext): Die Information erfolgte einmalig/mehrmalig (Nennung des Datums) über folgende Kanäle: z.B. Unternehmens Newsletter/Zeitung (Print/Online), Unternehmenswebsite, Veranstaltungen der Geschäftsführung.

Frage 3 : Wurden mögliche Widerstände in der Belegschaft gegen das Vorhaben öffentlich?

(Dokumentationstext): Im Rahmen der Kommunikation an die Belegschaft wurden keine/folgende Wiederstände/Befürchtungen deutlich: (ggf. Nennung der Wiederstände/Befürchtungen).

Frage 1: Wurde das Dokument Software-Beschreibung vollständig ausgefüllt?

(Dokumentationstext): Das Dokument Softwarebeschreibung wurde am xx.xx.xxxx abschließend ausgefüllt.

Frage 1: Gibt es ein Ticket-System bzw. Backlog, in dem alle Anforderung an eine Software dokumentiert werden?

(Dokumentationstext):

Ticket-System/Backlog vorhanden: (Ja/Nein). Bei Ja, Name des Systems.
Dokumentationsweise: Kurze Beschreibung der Erfassungsmethode für Anforderungen (z.B. User Stories, Fehlermeldungen).
Zugriff und Verantwortung: Angabe, wer Zugriff hat und wer verantwortlich ist.
Erfassungsprozess: Kurzer Überblick über den Prozess zur Einreichung und Genehmigung von Anforderungen.
Integration mit anderen Systemen: Falls vorhanden, Beschreibung der Integration.
Update-Rhythmus: Angabe zur Häufigkeit der Aktualisierungen des Backlogs.

Frage 2: Hat das PdV das Wissen und die Möglichkeit, um ethische und diverstitätsrelevante Anforderungen in diesem Ticketsystem zu hinterlegen? Wenn nicht, wurden KIM und evtl. KIX involviert?

(Dokumentationstext):

Fähigkeiten des PdV: (Ja/Nein). Bei Nein, Einsatz von KIM/KIX zur Unterstützung.
Erfassung ethischer/diversitätsrelevanter Anforderungen: Kurze Beschreibung des Verfahrens.
Koordination mit KIM/KIX: Falls zutreffend, Darstellung der Zusammenarbeit.

Frage 3: Hat das PdV konkrete ethische und diversitätsrelevante Anforderungen in einem Ticketsystem z. B. als UserStories hinterlegt, falls Anforderungen formuliert wurden?

(Dokumentationstext):

Hinterlegung von Anforderungen: (Ja/Nein). Bei Ja, Beispiele für hinterlegte User Stories oder Anforderungen.
Details der Anforderungen: Kurze Beschreibung der Art und des Umfangs der ethischen und diversitätsrelevanten Anforderungen.
Verfahren der Hinterlegung: Beschreibung, wie diese Anforderungen im System dokumentiert wurden.

Frage 4: Erfüllen die erstellten oder geänderten Tickets den formalen Anforderungen des Entwicklungsprozesses (z. B. Definition of Ready)?

(Dokumentationstext:)

Einhaltung formaler Anforderungen: (Ja/Nein). Bei Ja, Beispiele für Konformität.
Übereinstimmung mit Entwicklungsprozess: Kurze Beschreibung, wie die Tickets die Kriterien der "Definition of Ready" oder ähnliche Prozessstandards erfüllen.

Frage 1: Konnte das PdV mit dem/der PO über die priorisierten Anforderungen sprechen und ein gemeinsames Verständnis darüber erreichen? Wurde, wenn nötig, KIM und evtl. KIX mit einbezogen?

(Dokumentationstext) Das PdV führte Gespräche mit dem/der Product Owner (PO) über die priorisierten Anforderungen, um ein gemeinsames Verständnis zu erreichen. In diesen Diskussionen wurden [Details zu den erreichten Übereinkünften oder verbleibenden Unklarheiten]. Bei Bedarf erfolgte die Einbeziehung von KIM und ggf. KIX, um [spezifische Aspekte/Probleme] zu adressieren.

Frage 2: Falls das PdV mit der vorgenommenen Priorisierung unzufrieden ist: Hat das PdV die Möglichkeit, die Projektleitung bzw. Managementebene darüber zu informieren?

(Dokumentationstext) Im Falle von Unzufriedenheit mit der Priorisierung hat das PdV die Option, die Projektleitung oder Managementebene zu informieren. Dies erfolgt durch [Beschreibung des Kommunikationsprozesses oder der Protokolle], um sicherzustellen, dass Bedenken angemessen adressiert und diskutiert werden können.

Frage 1: Wurden die Anforderungen des PdV von den Entwicklern abgeschätzt?

(Dokumentationstext) Die Anforderungen des PdV wurden von den Entwicklern*innen hinsichtlich [Zeit, Ressourcen, Komplexität] abgeschätzt, wobei [Ergebnisse/Konklusionen der Schätzung] festgehalten wurden.

Frage 2: Wurden die Anforderungen des PdV nach der Abschätzung ggfs. neu priorisiert?

(Dokumentationstext) Nach der Abschätzung durch die Entwickler*innen wurden die Anforderungen des PdV [neu priorisiert/nicht neu priorisiert], basierend auf [Kriterien/Bewertungen].

Frage 1: Wurde ein Sprint-Backlog in Zusammenarbeit mit den Entwicklern erstellt, dass ggfs. die Anforderungen des PdV beinhaltet?

(Dokumentationstext)

Frage 2: Konnten die Anforderungen von den Entwicklern im Sprint umgesetzt werden?

(Dokumentationstext)

Frage 3: Hatte das PdV die Möglichkeit, bei dem Sprint-Review dabei zu sein?

(Dokumentationstext)

Frage 1: Wurden die in den Anforderungen beschriebenen Testfälle ausgeführt?

(Dokumentationstext)

Frage 2: Kann das PdV und andere Anforderungsgeber nachvollziehen, welche Anforderungen den Testfall bestanden haben und welche nicht?

(Dokumentationstext)

Frage 3: Wurde die KIX einbezogen, um Feedback zur Verbesserung der Testfälle geben zu können, bzw. wurde entschieden, dass der Einbezug einer KIX nicht notwendig ist?

(Dokumentationstext)

Frage 1: Konnte das PdV und weitere relevante Stakeholder im Review Kenntnis über den aktuellen Stand der Software und die neu entwickelten Funktionalitäten erhalten und Rückfragen stellen?

(Dokumentationstext):

Frage 2: Hilft das Review, damit PdV und weitere Stakeholder:innen ein gemeinsames Verständnis über die neu geschaffenen Funktionalitäten entwickeln?

(Dokumentationstext):

Frage 1: Kann das PdV die Software in Bezug auf die relevanten Qualitätskriterien wie Transparenz, Verständlichkeit, Zieldienlichkeit und Fairness bewerten?

(Dokumentationstext):

Frage 2: Hatte das PdV Gelegenheit festzustellen, ob der aktuelle Stand der Software den erstellen Anforderungen entspricht oder nicht?

(Dokumentationstext):

Frage 1: Wurden alle Empfehlungen des PdV sowie der Status der Umsetzung bei der Software-Entwicklung an die Betroffenen bzw. die Belegschaft kommuniziert?

(Dokumentationstext):

Frage 1: Wurde nach erfolgreichem Software-Test und Monitoring-Abkommen die Entscheidung getroffen, die Software produktiv einzusetzen?

(Dokumentationstext):

Frage 1: Gibt es für die zuständigen Akteur:innen (ggfs. PdV) die Chance, neue Anforderungen an die Software zu stellen, und somit aktiv auf das Backlog Einfluss zu nehmen?

(Dokumentationstext)

Frage 2: Gibt es für dringende Fälle die Möglichkeit, direkt den Betriebs-Support zu kontaktieren?

(Dokumentationstext)

PreviousSelbstauditierung anhand der Qualitätskriterien NextQualitätskriterien zur Durchführung des KIDD-Prozesses (QP)

Last updated 9 months ago