Qualitätskriterien zur Durchführung des KIDD-Prozesses (QP)

Frage 1: Ist ein Konstituierungsworkshop durchgeführt worden?

(Dokumentationstext) Bitte dokumentieren Sie den Konstituierungsworkshop des PdV:

Einladung
Teilnehmendenliste
Programm, ggf. Präsentationen
Protokoll inkl. der Ergebnisse der Abschlussrunde zur weiteren Arbeitsweise und Zufriedenheit

Frage 2: Hat sich das PdV formal als arbeitsfähiges Gremium konstituiert?

(Dokumentationstext) Ein Plan zur weiteren Arbeitsweise des PdV wurde aufgestellt.

Frage 1: Gibt es ein Ticket-System bzw. Backlog, in dem alle Anforderung an eine Software dokumentiert werden?

(Dokumentationstext):

Ticket-System/Backlog vorhanden: (Ja/Nein). Bei Ja, Name des Systems.
Dokumentationsweise: Kurze Beschreibung der Erfassungsmethode für Anforderungen (z.B. User Stories, Fehlermeldungen).
Zugriff und Verantwortung: Angabe, wer Zugriff hat und wer verantwortlich ist.
Erfassungsprozess: Kurzer Überblick über den Prozess zur Einreichung und Genehmigung von Anforderungen.
Integration mit anderen Systemen: Falls vorhanden, Beschreibung der Integration.
Update-Rhythmus: Angabe zur Häufigkeit der Aktualisierungen des Backlogs.

Frage 2: Hat das PdV das Wissen und die Möglichkeit, um ethische und diverstitätsrelevante Anforderungen in diesem Ticketsystem zu hinterlegen? Wenn nicht, wurden KIM und evtl. KIX involviert?

(Dokumentationstext):

Fähigkeiten des PdV: (Ja/Nein). Bei Nein, Einsatz von KIM/KIX zur Unterstützung.
Erfassung ethischer/diversitätsrelevanter Anforderungen: Kurze Beschreibung des Verfahrens.
Koordination mit KIM/KIX: Falls zutreffend, Darstellung der Zusammenarbeit.

Frage 3: Hat das PdV konkrete ethische und diversitätsrelevante Anforderungen in einem Ticketsystem z. B. als UserStories hinterlegt, falls Anforderungen formuliert wurden?

(Dokumentationstext):

Hinterlegung von Anforderungen: (Ja/Nein). Bei Ja, Beispiele für hinterlegte User Stories oder Anforderungen.
Details der Anforderungen: Kurze Beschreibung der Art und des Umfangs der ethischen und diversitätsrelevanten Anforderungen.
Verfahren der Hinterlegung: Beschreibung, wie diese Anforderungen im System dokumentiert wurden.

Frage 4: Erfüllen die erstellten oder geänderten Tickets den formalen Anforderungen des Entwicklungsprozesses (z. B. Definition of Ready)?

(Dokumentationstext:)

Einhaltung formaler Anforderungen: (Ja/Nein). Bei Ja, Beispiele für Konformität.
Übereinstimmung mit Entwicklungsprozess: Kurze Beschreibung, wie die Tickets die Kriterien der "Definition of Ready" oder ähnliche Prozessstandards erfüllen.

Frage 1: Wurden die in den Anforderungen beschriebenen Testfälle ausgeführt?

(Dokumentationstext)

Frage 2: Kann das PdV und andere Anforderungsgeber nachvollziehen, welche Anforderungen den Testfall bestanden haben und welche nicht?

(Dokumentationstext)

Frage 3: Wurde die KIX einbezogen, um Feedback zur Verbesserung der Testfälle geben zu können, bzw. wurde entschieden, dass der Einbezug einer KIX nicht notwendig ist?

(Dokumentationstext)

Frage 1: Wurde das Dokument Software-Beschreibung vollständig ausgefüllt?

(Dokumentationstext): Das Dokument Softwarebeschreibung wurde am xx.xx.xxxx abschließend ausgefüllt.

Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?

(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.

Frage 1: Ist eine Ausschreibung für den Einkauf einer Softwareanwendung erstellt worden, in der kenntlich gemacht wird, dass die Softwareanbieter:in bereit sein muss, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des Gremiums und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext) Anhang Ausschreibung

Frage 1: Ist eine Software-Anbieter:in ausgewählt worden, die bereit ist, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des PdV und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext)

Frage 1: Hat der/die Product Owner:in Transparenzkatalog ausgefüllt und dem PdV vorgelegt?

(Dokumentationstext) Der/die Product Owner:in XY hat am xx.xx.xxxx den Transparenzkatalog ausgefüllt zur Verfügung gestellt. Alle im Transparenzkatalog gestellten Fragen wurden beantwortet…. Die Fragen … wurden nicht beantwortet, weil …

Frage 2: Wurden die diversitätssensiblen Stellschrauben der Software mit entsprechenden Anpassungsoptionen identifiziert und für das PdV verständlich aufbereitet?

(Dokumentationstext) Als diversitätssensible Stellschrauben der Software wurden folgende Punkte identifiziert (stichpunktartige Aufzählung). Die Anpassungsoptionen wurden zu jedem dieser Punkte dargestellt (Angabe zum jeweiligen Stichpunkt). Dem PdV wurden diese Punkte vorgelegt. Das PdV hat diese Punkte als verständlich bewertet.

Frage 3: Wurde ein:e KI-Expert:in hinzugezogen?

(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen. Die Punkte, zu denen KIX-Klärungsbedarf bestand, waren (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da der Software-Hersteller alle Fragestellungen aus dem Transparenzkatalog für das PdV transparent und verständlich beschrieben hat und keine Fragen zu Fairness oder Steuerbarkeit offen blieben.

Frage 1: Hat der/die Product Owner:in dem PdV die diversitätssensiblen Stellschrauben der Software vorgestellt und das Gremium in die Daten, Regeln und Architektur der Software eingeführt?

(Dokumentationstext) Der/die Product Owner:in hat am xx.xx.xxxx dem PdV die diversitätsensiblen Stellschrauben der Software in einer Präsentation vorgestellt. E/sie hat das PdV dabei in die Daten, Regeln und Architektur der Software eingeführt.

Frage 2: Gab es bereits Planungen für Anpassungswünsche und Anforderungen und hat der/die Product Owner:in dem PdV diese vorgestellt?

(Dokumentationstext) Es gab bereits folgende Planungen für Anpassungswünsche und Anforderungen, die der/die Product-Owner:in dem PdV vorgestellt hat (stichpunktmäßig Aufzählung). … es gab keine…

Frage 3: Hat das PdV hat ein ausreichend fundiertes Verständnis der Software bekommen, um spezifische ethische und diversitybezogene Anforderungen und Anpassungswünsche zu formulieren?

(Dokumentationstext) Das PdV hat am xx.xx.xxxx mehrheitlich/einstimmig positiv darüber abgestimmt, dass es ein ausreichend fundiertes Verständnis der Software bekommen hat. Das PdV hat die folgenden ethischen und diversitybezogenen Anforderungen und Anpassungswünsche formuliert (stichpunktartige Aufzählung).

Frage 4: Wurde ein:e KI-Expert:in hinzugezogen?

(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen, um folgende Punkte in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche zu klären (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da im PdV gemäß einstimmigem Beschluss vom xx.xx.xxxx keine Fragen in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche offen blieben.

Frage 1: Konnte das PdV mit dem/der PO über die priorisierten Anforderungen sprechen und ein gemeinsames Verständnis darüber erreichen? Wurde, wenn nötig, KIM und evtl. KIX mit einbezogen?

(Dokumentationstext) Das PdV führte Gespräche mit dem/der Product Owner (PO) über die priorisierten Anforderungen, um ein gemeinsames Verständnis zu erreichen. In diesen Diskussionen wurden [Details zu den erreichten Übereinkünften oder verbleibenden Unklarheiten]. Bei Bedarf erfolgte die Einbeziehung von KIM und ggf. KIX, um [spezifische Aspekte/Probleme] zu adressieren.

Frage 2: Falls das PdV mit der vorgenommenen Priorisierung unzufrieden ist: Hat das PdV die Möglichkeit, die Projektleitung bzw. Managementebene darüber zu informieren?

(Dokumentationstext) Im Falle von Unzufriedenheit mit der Priorisierung hat das PdV die Option, die Projektleitung oder Managementebene zu informieren. Dies erfolgt durch [Beschreibung des Kommunikationsprozesses oder der Protokolle], um sicherzustellen, dass Bedenken angemessen adressiert und diskutiert werden können.

Frage 1: Gibt es ein Ticket-System bzw. Backlog, in dem alle Anforderung an eine Software dokumentiert werden?

(Dokumentationstext):

Ticket-System/Backlog vorhanden: (Ja/Nein). Bei Ja, Name des Systems.
Dokumentationsweise: Kurze Beschreibung der Erfassungsmethode für Anforderungen (z.B. User Stories, Fehlermeldungen).
Zugriff und Verantwortung: Angabe, wer Zugriff hat und wer verantwortlich ist.
Erfassungsprozess: Kurzer Überblick über den Prozess zur Einreichung und Genehmigung von Anforderungen.
Integration mit anderen Systemen: Falls vorhanden, Beschreibung der Integration.
Update-Rhythmus: Angabe zur Häufigkeit der Aktualisierungen des Backlogs.

Frage 2: Hat das PdV das Wissen und die Möglichkeit, um ethische und diverstitätsrelevante Anforderungen in diesem Ticketsystem zu hinterlegen? Wenn nicht, wurden KIM und evtl. KIX involviert?

(Dokumentationstext):

Fähigkeiten des PdV: (Ja/Nein). Bei Nein, Einsatz von KIM/KIX zur Unterstützung.
Erfassung ethischer/diversitätsrelevanter Anforderungen: Kurze Beschreibung des Verfahrens.
Koordination mit KIM/KIX: Falls zutreffend, Darstellung der Zusammenarbeit.

Frage 3: Hat das PdV konkrete ethische und diversitätsrelevante Anforderungen in einem Ticketsystem z. B. als UserStories hinterlegt, falls Anforderungen formuliert wurden?

(Dokumentationstext):

Hinterlegung von Anforderungen: (Ja/Nein). Bei Ja, Beispiele für hinterlegte User Stories oder Anforderungen.
Details der Anforderungen: Kurze Beschreibung der Art und des Umfangs der ethischen und diversitätsrelevanten Anforderungen.
Verfahren der Hinterlegung: Beschreibung, wie diese Anforderungen im System dokumentiert wurden.

Frage 4: Erfüllen die erstellten oder geänderten Tickets den formalen Anforderungen des Entwicklungsprozesses (z. B. Definition of Ready)?

(Dokumentationstext:)

Einhaltung formaler Anforderungen: (Ja/Nein). Bei Ja, Beispiele für Konformität.
Übereinstimmung mit Entwicklungsprozess: Kurze Beschreibung, wie die Tickets die Kriterien der "Definition of Ready" oder ähnliche Prozessstandards erfüllen.

Frage 1: Konnte das PdV mit dem/der PO über die priorisierten Anforderungen sprechen und ein gemeinsames Verständnis darüber erreichen? Wurde, wenn nötig, KIM und evtl. KIX mit einbezogen?

(Dokumentationstext) Das PdV führte Gespräche mit dem/der Product Owner (PO) über die priorisierten Anforderungen, um ein gemeinsames Verständnis zu erreichen. In diesen Diskussionen wurden [Details zu den erreichten Übereinkünften oder verbleibenden Unklarheiten]. Bei Bedarf erfolgte die Einbeziehung von KIM und ggf. KIX, um [spezifische Aspekte/Probleme] zu adressieren.

Frage 2: Falls das PdV mit der vorgenommenen Priorisierung unzufrieden ist: Hat das PdV die Möglichkeit, die Projektleitung bzw. Managementebene darüber zu informieren?

(Dokumentationstext) Im Falle von Unzufriedenheit mit der Priorisierung hat das PdV die Option, die Projektleitung oder Managementebene zu informieren. Dies erfolgt durch [Beschreibung des Kommunikationsprozesses oder der Protokolle], um sicherzustellen, dass Bedenken angemessen adressiert und diskutiert werden können.

Frage 1: Existiert ein Software-Monitoring-Tool mit zugehörigem Dashboard, mit dem die relevanten Beobachtungsgrößen (KPIs) mit Bezug zu Diversität im laufenden Betriebes überblickt werden können?

(Dokumentationstext)

Frage 2: Können entsprechende Abweichungen von den erwarteten Werten gemeldet und weiterverfolgt werden?

(Dokumentationstext)

Frage 3: Gibt es die Rolle des „Human in Command“, der die Chance hat, mit diesem Dashboard die Autonomiestufe des Systems zu verändern oder gar die KI zu deaktivieren?

(Dokumentationstext)

Frage 3: Wurden klare Absprachen zum Diskussionsspielraum des PdV bei der Einführung bzw. Entwicklung der Softwareanwendung getroffen?

(Dokumentationstext) Beschreiben Sie, welche Themen und Fragestellungen vom PdV bei der Einführung bzw. Entwicklung der Softwareanwendung diskutiert werden können und wie mit strategischen und organisationalen Themen, die im Prozess aufkommen, umgegangen wird (siehe auch Handreichung zum Grad der Einflussnahme und Diskussionsspielraum des PdV).

Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?

(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.

Frage 2: Wurden die organisationalen/strategischen Anforderungen zur Klärung an die Managementebene bzw. Projektleitung weitergereicht?

(Dokumentationstext) Beschreiben Sie, inwieweit diese Anforderungen an die Managementebene weitergereicht wurden.

Frage 1: Wurde die Umsetzbarkeit der organisationalen/strategischen PdV-Anforderungen von der Managementebene bzw. Projektleitung geprüft?

(Dokumentationstext) Beschreiben Sie, inwieweit die Anforderungen von der Managementebene bzw. Projektleitung geprüft wurden.

Frage 2: Hat das PdV von der Managementebene bzw. Projektleitung Rückmeldung zu den organisationalen/strategischen Anforderungen erhalten?

(Dokumentationstext) Dokumentieren Sie die Rückmeldung zu den entsprechenden Anforderungen.

Frage 1: Ist eine Ausschreibung für den Einkauf einer Softwareanwendung erstellt worden, in der kenntlich gemacht wird, dass die Softwareanbieter:in bereit sein muss, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des Gremiums und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext) Anhang Ausschreibung

Frage 1: Ist eine Software-Anbieter:in ausgewählt worden, die bereit ist, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des PdV und möglichen Unternehmenswünschen zu modifizieren?

(Dokumentationstext)

Frage 1: Wurde der/die Product Owner:in informiert und sensibilisiert?

(Dokumentationstext)

Frage 1: Hat der/die Product Owner:in Transparenzkatalog ausgefüllt und dem PdV vorgelegt?

(Dokumentationstext) Der/die Product Owner:in XY hat am xx.xx.xxxx den Transparenzkatalog ausgefüllt zur Verfügung gestellt. Alle im Transparenzkatalog gestellten Fragen wurden beantwortet…. Die Fragen … wurden nicht beantwortet, weil …

Frage 2: Wurden die diversitätssensiblen Stellschrauben der Software mit entsprechenden Anpassungsoptionen identifiziert und für das PdV verständlich aufbereitet?

(Dokumentationstext) Als diversitätssensible Stellschrauben der Software wurden folgende Punkte identifiziert (stichpunktartige Aufzählung). Die Anpassungsoptionen wurden zu jedem dieser Punkte dargestellt (Angabe zum jeweiligen Stichpunkt). Dem PdV wurden diese Punkte vorgelegt. Das PdV hat diese Punkte als verständlich bewertet.

Frage 3: Wurde ein:e KI-Expert:in hinzugezogen?

(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen. Die Punkte, zu denen KIX-Klärungsbedarf bestand, waren (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da der Software-Hersteller alle Fragestellungen aus dem Transparenzkatalog für das PdV transparent und verständlich beschrieben hat und keine Fragen zu Fairness oder Steuerbarkeit offen blieben.

Frage 1: Hat der/die Product Owner:in dem PdV die diversitätssensiblen Stellschrauben der Software vorgestellt und das Gremium in die Daten, Regeln und Architektur der Software eingeführt?

(Dokumentationstext) Der/die Product Owner:in hat am xx.xx.xxxx dem PdV die diversitätsensiblen Stellschrauben der Software in einer Präsentation vorgestellt. E/sie hat das PdV dabei in die Daten, Regeln und Architektur der Software eingeführt.

Frage 2: Gab es bereits Planungen für Anpassungswünsche und Anforderungen und hat der/die Product Owner:in dem PdV diese vorgestellt?

(Dokumentationstext) Es gab bereits folgende Planungen für Anpassungswünsche und Anforderungen, die der/die Product-Owner:in dem PdV vorgestellt hat (stichpunktmäßig Aufzählung). … es gab keine…

Frage 3: Hat das PdV hat ein ausreichend fundiertes Verständnis der Software bekommen, um spezifische ethische und diversitybezogene Anforderungen und Anpassungswünsche zu formulieren?

(Dokumentationstext) Das PdV hat am xx.xx.xxxx mehrheitlich/einstimmig positiv darüber abgestimmt, dass es ein ausreichend fundiertes Verständnis der Software bekommen hat. Das PdV hat die folgenden ethischen und diversitybezogenen Anforderungen und Anpassungswünsche formuliert (stichpunktartige Aufzählung).

Frage 4: Wurde ein:e KI-Expert:in hinzugezogen?

(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen, um folgende Punkte in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche zu klären (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da im PdV gemäß einstimmigem Beschluss vom xx.xx.xxxx keine Fragen in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche offen blieben.

Frage 1: Wurden die Anforderungen des PdV von den Entwicklern abgeschätzt?

(Dokumentationstext) Die Anforderungen des PdV wurden von den Entwicklern*innen hinsichtlich [Zeit, Ressourcen, Komplexität] abgeschätzt, wobei [Ergebnisse/Konklusionen der Schätzung] festgehalten wurden.

Frage 2: Wurden die Anforderungen des PdV nach der Abschätzung ggfs. neu priorisiert?

(Dokumentationstext) Nach der Abschätzung durch die Entwickler*innen wurden die Anforderungen des PdV [neu priorisiert/nicht neu priorisiert], basierend auf [Kriterien/Bewertungen].

Frage 1: Wurde ein Sprint-Backlog in Zusammenarbeit mit den Entwicklern erstellt, dass ggfs. die Anforderungen des PdV beinhaltet?

(Dokumentationstext)

Frage 2: Konnten die Anforderungen von den Entwicklern im Sprint umgesetzt werden?

(Dokumentationstext)

Frage 3: Hatte das PdV die Möglichkeit, bei dem Sprint-Review dabei zu sein?

(Dokumentationstext)

Frage 1: Wurden alle Anforderungen des PdV auf Testbarkeit überprüft?

(Dokumentationstext) Die Anforderungen des PdV wurden auf Testbarkeit überprüft, wobei der Fokus auf Methodik und Ergebnissen lag. Die Überprüfung ergab [Ergebnisse], mit besonderer Berücksichtigung von [spezifischen Herausforderungen/Einschränkungen]. Erforderliche Anpassungen zur Verbesserung der Testbarkeit werden [erörtert/folgen].

Frage 2: Wurde die Anforderungen des PdV mit Testfällen und Testdaten hinterlegt, sodass sie später für Software-Tests genutzt werden können?

(Dokumentationstext) Beschreibung des Vorgehens

Frage 1: Wurden die in den Anforderungen beschriebenen Testfälle ausgeführt?

(Dokumentationstext)

Frage 2: Kann das PdV und andere Anforderungsgeber nachvollziehen, welche Anforderungen den Testfall bestanden haben und welche nicht?

(Dokumentationstext)

Frage 3: Wurde die KIX einbezogen, um Feedback zur Verbesserung der Testfälle geben zu können, bzw. wurde entschieden, dass der Einbezug einer KIX nicht notwendig ist?

(Dokumentationstext)

Frage 1: Kann das PdV die Software in Bezug auf die relevanten Qualitätskriterien wie Transparenz, Verständlichkeit, Zieldienlichkeit und Fairness bewerten?

(Dokumentationstext):

Frage 2: Hatte das PdV Gelegenheit festzustellen, ob der aktuelle Stand der Software den erstellen Anforderungen entspricht oder nicht?

(Dokumentationstext):

Frage 1: Wurde nach erfolgreichem Software-Test und Monitoring-Abkommen die Entscheidung getroffen, die Software produktiv einzusetzen?

(Dokumentationstext):

Qualitätskriterien zur Durchführung des KIDD-Prozesses (QP)

QP 1

QP 2

QP 3

QP 4

QP 5

QP 6

QP 7

QP 1

QP 2

QP 3

QP 4

QP 5

QP 6

QP 7