Qualitätskriterien zur Durchführung des KIDD-Prozesses (QP)
QP 1
Der KIDD-Prozess / Mitbestimmung braucht Kompetenz: Die Mitglieder des Panels der Vielfalt werden durch Schulungen (zu Themen Partizipation, Diversity und Algorithmen/KI zur Mitarbeit) im KIDD-Prozess befähigt.
Frage 1: Ist ein Konstituierungsworkshop durchgeführt worden?
(Dokumentationstext) Bitte dokumentieren Sie den Konstituierungsworkshop des PdV:
Einladung
Teilnehmendenliste
Programm, ggf. Präsentationen
Protokoll inkl. der Ergebnisse der Abschlussrunde zur weiteren Arbeitsweise und Zufriedenheit
Frage 2: Hat sich das PdV formal als arbeitsfähiges Gremium konstituiert?
(Dokumentationstext) Ein Plan zur weiteren Arbeitsweise des PdV wurde aufgestellt.
Frage 1: Gibt es ein Ticket-System bzw. Backlog, in dem alle Anforderung an eine Software dokumentiert werden?
(Dokumentationstext):
Ticket-System/Backlog vorhanden: (Ja/Nein). Bei Ja, Name des Systems.
Dokumentationsweise: Kurze Beschreibung der Erfassungsmethode für Anforderungen (z.B. User Stories, Fehlermeldungen).
Zugriff und Verantwortung: Angabe, wer Zugriff hat und wer verantwortlich ist.
Erfassungsprozess: Kurzer Überblick über den Prozess zur Einreichung und Genehmigung von Anforderungen.
Integration mit anderen Systemen: Falls vorhanden, Beschreibung der Integration.
Update-Rhythmus: Angabe zur Häufigkeit der Aktualisierungen des Backlogs.
Frage 2: Hat das PdV das Wissen und die Möglichkeit, um ethische und diverstitätsrelevante Anforderungen in diesem Ticketsystem zu hinterlegen? Wenn nicht, wurden KIM und evtl. KIX involviert?
(Dokumentationstext):
Fähigkeiten des PdV: (Ja/Nein). Bei Nein, Einsatz von KIM/KIX zur Unterstützung.
Erfassung ethischer/diversitätsrelevanter Anforderungen: Kurze Beschreibung des Verfahrens.
Koordination mit KIM/KIX: Falls zutreffend, Darstellung der Zusammenarbeit.
Frage 3: Hat das PdV konkrete ethische und diversitätsrelevante Anforderungen in einem Ticketsystem z. B. als UserStories hinterlegt, falls Anforderungen formuliert wurden?
(Dokumentationstext):
Hinterlegung von Anforderungen: (Ja/Nein). Bei Ja, Beispiele für hinterlegte User Stories oder Anforderungen.
Details der Anforderungen: Kurze Beschreibung der Art und des Umfangs der ethischen und diversitätsrelevanten Anforderungen.
Verfahren der Hinterlegung: Beschreibung, wie diese Anforderungen im System dokumentiert wurden.
Frage 4: Erfüllen die erstellten oder geänderten Tickets den formalen Anforderungen des Entwicklungsprozesses (z. B. Definition of Ready)?
(Dokumentationstext:)
Einhaltung formaler Anforderungen: (Ja/Nein). Bei Ja, Beispiele für Konformität.
Übereinstimmung mit Entwicklungsprozess: Kurze Beschreibung, wie die Tickets die Kriterien der "Definition of Ready" oder ähnliche Prozessstandards erfüllen.
QP 2
Mitbestimmung braucht Sachverstand: Informationen zum technischen System der KI, ihren Stellschrauben, Einsatzgebieten sowie kritischen Aspekten werden für Laien verständlich aufbereitet.
Frage 1: Wurde das Dokument Software-Beschreibung vollständig ausgefüllt?
(Dokumentationstext): Das Dokument Softwarebeschreibung wurde am xx.xx.xxxx abschließend ausgefüllt.
Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?
(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.
Frage 1: Ist eine Ausschreibung für den Einkauf einer Softwareanwendung erstellt worden, in der kenntlich gemacht wird, dass die Softwareanbieter:in bereit sein muss, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des Gremiums und möglichen Unternehmenswünschen zu modifizieren?
(Dokumentationstext) Anhang Ausschreibung
Frage 1: Ist eine Software-Anbieter:in ausgewählt worden, die bereit ist, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des PdV und möglichen Unternehmenswünschen zu modifizieren?
(Dokumentationstext)
Frage 1: Hat der/die Product Owner:in Transparenzkatalog ausgefüllt und dem PdV vorgelegt?
(Dokumentationstext) Der/die Product Owner:in XY hat am xx.xx.xxxx den Transparenzkatalog ausgefüllt zur Verfügung gestellt. Alle im Transparenzkatalog gestellten Fragen wurden beantwortet…. Die Fragen … wurden nicht beantwortet, weil …
Frage 2: Wurden die diversitätssensiblen Stellschrauben der Software mit entsprechenden Anpassungsoptionen identifiziert und für das PdV verständlich aufbereitet?
(Dokumentationstext) Als diversitätssensible Stellschrauben der Software wurden folgende Punkte identifiziert (stichpunktartige Aufzählung). Die Anpassungsoptionen wurden zu jedem dieser Punkte dargestellt (Angabe zum jeweiligen Stichpunkt). Dem PdV wurden diese Punkte vorgelegt. Das PdV hat diese Punkte als verständlich bewertet.
Frage 3: Wurde ein:e KI-Expert:in hinzugezogen?
(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen. Die Punkte, zu denen KIX-Klärungsbedarf bestand, waren (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da der Software-Hersteller alle Fragestellungen aus dem Transparenzkatalog für das PdV transparent und verständlich beschrieben hat und keine Fragen zu Fairness oder Steuerbarkeit offen blieben.
Frage 1: Hat der/die Product Owner:in dem PdV die diversitätssensiblen Stellschrauben der Software vorgestellt und das Gremium in die Daten, Regeln und Architektur der Software eingeführt?
(Dokumentationstext) Der/die Product Owner:in hat am xx.xx.xxxx dem PdV die diversitätsensiblen Stellschrauben der Software in einer Präsentation vorgestellt. E/sie hat das PdV dabei in die Daten, Regeln und Architektur der Software eingeführt.
Frage 2: Gab es bereits Planungen für Anpassungswünsche und Anforderungen und hat der/die Product Owner:in dem PdV diese vorgestellt?
(Dokumentationstext) Es gab bereits folgende Planungen für Anpassungswünsche und Anforderungen, die der/die Product-Owner:in dem PdV vorgestellt hat (stichpunktmäßig Aufzählung). … es gab keine…
Frage 3: Hat das PdV hat ein ausreichend fundiertes Verständnis der Software bekommen, um spezifische ethische und diversitybezogene Anforderungen und Anpassungswünsche zu formulieren?
(Dokumentationstext) Das PdV hat am xx.xx.xxxx mehrheitlich/einstimmig positiv darüber abgestimmt, dass es ein ausreichend fundiertes Verständnis der Software bekommen hat. Das PdV hat die folgenden ethischen und diversitybezogenen Anforderungen und Anpassungswünsche formuliert (stichpunktartige Aufzählung).
Frage 4: Wurde ein:e KI-Expert:in hinzugezogen?
(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen, um folgende Punkte in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche zu klären (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da im PdV gemäß einstimmigem Beschluss vom xx.xx.xxxx keine Fragen in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche offen blieben.
Frage 1: Konnte das PdV mit dem/der PO über die priorisierten Anforderungen sprechen und ein gemeinsames Verständnis darüber erreichen? Wurde, wenn nötig, KIM und evtl. KIX mit einbezogen?
(Dokumentationstext) Das PdV führte Gespräche mit dem/der Product Owner (PO) über die priorisierten Anforderungen, um ein gemeinsames Verständnis zu erreichen. In diesen Diskussionen wurden [Details zu den erreichten Übereinkünften oder verbleibenden Unklarheiten]. Bei Bedarf erfolgte die Einbeziehung von KIM und ggf. KIX, um [spezifische Aspekte/Probleme] zu adressieren.
Frage 2: Falls das PdV mit der vorgenommenen Priorisierung unzufrieden ist: Hat das PdV die Möglichkeit, die Projektleitung bzw. Managementebene darüber zu informieren?
(Dokumentationstext) Im Falle von Unzufriedenheit mit der Priorisierung hat das PdV die Option, die Projektleitung oder Managementebene zu informieren. Dies erfolgt durch [Beschreibung des Kommunikationsprozesses oder der Protokolle], um sicherzustellen, dass Bedenken angemessen adressiert und diskutiert werden können.
QP 3
Mitbestimmung braucht Steuerung: Der KIDD-Prozess wird transparent und beteiligungsorientiert durch eine Prozessmoderation gesteuert.
Frage 1: Gibt es ein Ticket-System bzw. Backlog, in dem alle Anforderung an eine Software dokumentiert werden?
(Dokumentationstext):
Ticket-System/Backlog vorhanden: (Ja/Nein). Bei Ja, Name des Systems.
Dokumentationsweise: Kurze Beschreibung der Erfassungsmethode für Anforderungen (z.B. User Stories, Fehlermeldungen).
Zugriff und Verantwortung: Angabe, wer Zugriff hat und wer verantwortlich ist.
Erfassungsprozess: Kurzer Überblick über den Prozess zur Einreichung und Genehmigung von Anforderungen.
Integration mit anderen Systemen: Falls vorhanden, Beschreibung der Integration.
Update-Rhythmus: Angabe zur Häufigkeit der Aktualisierungen des Backlogs.
Frage 2: Hat das PdV das Wissen und die Möglichkeit, um ethische und diverstitätsrelevante Anforderungen in diesem Ticketsystem zu hinterlegen? Wenn nicht, wurden KIM und evtl. KIX involviert?
(Dokumentationstext):
Fähigkeiten des PdV: (Ja/Nein). Bei Nein, Einsatz von KIM/KIX zur Unterstützung.
Erfassung ethischer/diversitätsrelevanter Anforderungen: Kurze Beschreibung des Verfahrens.
Koordination mit KIM/KIX: Falls zutreffend, Darstellung der Zusammenarbeit.
Frage 3: Hat das PdV konkrete ethische und diversitätsrelevante Anforderungen in einem Ticketsystem z. B. als UserStories hinterlegt, falls Anforderungen formuliert wurden?
(Dokumentationstext):
Hinterlegung von Anforderungen: (Ja/Nein). Bei Ja, Beispiele für hinterlegte User Stories oder Anforderungen.
Details der Anforderungen: Kurze Beschreibung der Art und des Umfangs der ethischen und diversitätsrelevanten Anforderungen.
Verfahren der Hinterlegung: Beschreibung, wie diese Anforderungen im System dokumentiert wurden.
Frage 4: Erfüllen die erstellten oder geänderten Tickets den formalen Anforderungen des Entwicklungsprozesses (z. B. Definition of Ready)?
(Dokumentationstext:)
Einhaltung formaler Anforderungen: (Ja/Nein). Bei Ja, Beispiele für Konformität.
Übereinstimmung mit Entwicklungsprozess: Kurze Beschreibung, wie die Tickets die Kriterien der "Definition of Ready" oder ähnliche Prozessstandards erfüllen.
Frage 1: Konnte das PdV mit dem/der PO über die priorisierten Anforderungen sprechen und ein gemeinsames Verständnis darüber erreichen? Wurde, wenn nötig, KIM und evtl. KIX mit einbezogen?
(Dokumentationstext) Das PdV führte Gespräche mit dem/der Product Owner (PO) über die priorisierten Anforderungen, um ein gemeinsames Verständnis zu erreichen. In diesen Diskussionen wurden [Details zu den erreichten Übereinkünften oder verbleibenden Unklarheiten]. Bei Bedarf erfolgte die Einbeziehung von KIM und ggf. KIX, um [spezifische Aspekte/Probleme] zu adressieren.
Frage 2: Falls das PdV mit der vorgenommenen Priorisierung unzufrieden ist: Hat das PdV die Möglichkeit, die Projektleitung bzw. Managementebene darüber zu informieren?
(Dokumentationstext) Im Falle von Unzufriedenheit mit der Priorisierung hat das PdV die Option, die Projektleitung oder Managementebene zu informieren. Dies erfolgt durch [Beschreibung des Kommunikationsprozesses oder der Protokolle], um sicherzustellen, dass Bedenken angemessen adressiert und diskutiert werden können.
QP 4
Mitbestimmung braucht eine offene / responsive Kommunikationskultur: Alle Themen, die im Prozess aufkommen, werden diskutiert und Anfragen an die Geschäftsführung werden zeitnah beantwortet.
Frage 3: Wurden klare Absprachen zum Diskussionsspielraum des PdV bei der Einführung bzw. Entwicklung der Softwareanwendung getroffen?
(Dokumentationstext) Beschreiben Sie, welche Themen und Fragestellungen vom PdV bei der Einführung bzw. Entwicklung der Softwareanwendung diskutiert werden können und wie mit strategischen und organisationalen Themen, die im Prozess aufkommen, umgegangen wird (siehe auch Handreichung zum Grad der Einflussnahme und Diskussionsspielraum des PdV).
Frage 1: Wurde dem PdV die Möglichkeit eröffnet, Fragen und Befürchtungen im Hinblick auf das AES zu formulieren?
(Dokumentationstext): Am xx.yy.20yy wurde dem PdV im Rahmen eines Workshops die Vision und Ausrichtung des algorithmischen Entscheidungssystems vorgestellt. Die Teilnehmer:innen wurden für die Chancen und Risiken der Software–Anwendung im Hinblick auf Ethik und Diversität sensibilisiert und haben auf Basis von persönlichen und technisch-organisatorischen Erfahrung insgesamt eine Liste von xy Hoffnungen und xy Befürchtungen in Bezug auf das algorithmische Entscheidungssystem formuliert.
Frage 2: Wurden die organisationalen/strategischen Anforderungen zur Klärung an die Managementebene bzw. Projektleitung weitergereicht?
(Dokumentationstext) Beschreiben Sie, inwieweit diese Anforderungen an die Managementebene weitergereicht wurden.
Frage 1: Wurde die Umsetzbarkeit der organisationalen/strategischen PdV-Anforderungen von der Managementebene bzw. Projektleitung geprüft?
(Dokumentationstext) Beschreiben Sie, inwieweit die Anforderungen von der Managementebene bzw. Projektleitung geprüft wurden.
Frage 2: Hat das PdV von der Managementebene bzw. Projektleitung Rückmeldung zu den organisationalen/strategischen Anforderungen erhalten?
(Dokumentationstext) Dokumentieren Sie die Rückmeldung zu den entsprechenden Anforderungen.
QP 5
Ein mitbestimmter Algorithmus braucht dialogfähige und kooperative Softwareentwickelnde: Softwareentwickelnde und –anbietende werden für den KIDD-Prozess sensibilisiert und passen die Software entsprechend den priorisierten Anforderungen des PdVs an / greifen die priorisierten Anforderungen des PdVs produktiv auf.
Frage 1: Ist eine Ausschreibung für den Einkauf einer Softwareanwendung erstellt worden, in der kenntlich gemacht wird, dass die Softwareanbieter:in bereit sein muss, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des Gremiums und möglichen Unternehmenswünschen zu modifizieren?
(Dokumentationstext) Anhang Ausschreibung
Frage 1: Ist eine Software-Anbieter:in ausgewählt worden, die bereit ist, die verwendeten Daten und die Funktionsweise der Software für Laien verständlich darzustellen und zu dokumentieren, in der Entwicklung der Software mit dem PdV zusammenzuarbeiten und die Software ggf. nach den Empfehlungen des PdV und möglichen Unternehmenswünschen zu modifizieren?
(Dokumentationstext)
Frage 1: Hat der/die Product Owner:in Transparenzkatalog ausgefüllt und dem PdV vorgelegt?
(Dokumentationstext) Der/die Product Owner:in XY hat am xx.xx.xxxx den Transparenzkatalog ausgefüllt zur Verfügung gestellt. Alle im Transparenzkatalog gestellten Fragen wurden beantwortet…. Die Fragen … wurden nicht beantwortet, weil …
Frage 2: Wurden die diversitätssensiblen Stellschrauben der Software mit entsprechenden Anpassungsoptionen identifiziert und für das PdV verständlich aufbereitet?
(Dokumentationstext) Als diversitätssensible Stellschrauben der Software wurden folgende Punkte identifiziert (stichpunktartige Aufzählung). Die Anpassungsoptionen wurden zu jedem dieser Punkte dargestellt (Angabe zum jeweiligen Stichpunkt). Dem PdV wurden diese Punkte vorgelegt. Das PdV hat diese Punkte als verständlich bewertet.
Frage 3: Wurde ein:e KI-Expert:in hinzugezogen?
(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen. Die Punkte, zu denen KIX-Klärungsbedarf bestand, waren (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da der Software-Hersteller alle Fragestellungen aus dem Transparenzkatalog für das PdV transparent und verständlich beschrieben hat und keine Fragen zu Fairness oder Steuerbarkeit offen blieben.
Frage 1: Hat der/die Product Owner:in dem PdV die diversitätssensiblen Stellschrauben der Software vorgestellt und das Gremium in die Daten, Regeln und Architektur der Software eingeführt?
(Dokumentationstext) Der/die Product Owner:in hat am xx.xx.xxxx dem PdV die diversitätsensiblen Stellschrauben der Software in einer Präsentation vorgestellt. E/sie hat das PdV dabei in die Daten, Regeln und Architektur der Software eingeführt.
Frage 2: Gab es bereits Planungen für Anpassungswünsche und Anforderungen und hat der/die Product Owner:in dem PdV diese vorgestellt?
(Dokumentationstext) Es gab bereits folgende Planungen für Anpassungswünsche und Anforderungen, die der/die Product-Owner:in dem PdV vorgestellt hat (stichpunktmäßig Aufzählung). … es gab keine…
Frage 3: Hat das PdV hat ein ausreichend fundiertes Verständnis der Software bekommen, um spezifische ethische und diversitybezogene Anforderungen und Anpassungswünsche zu formulieren?
(Dokumentationstext) Das PdV hat am xx.xx.xxxx mehrheitlich/einstimmig positiv darüber abgestimmt, dass es ein ausreichend fundiertes Verständnis der Software bekommen hat. Das PdV hat die folgenden ethischen und diversitybezogenen Anforderungen und Anpassungswünsche formuliert (stichpunktartige Aufzählung).
Frage 4: Wurde ein:e KI-Expert:in hinzugezogen?
(Dokumentationstext) Der/die KI-Expert:in XY wurde am xx.xx.xxxx hinzugezogen, um folgende Punkte in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche zu klären (stichpunktartige Aufzählung). … Es war nicht notwendig, ein:e KIX hinzuziehen, da im PdV gemäß einstimmigem Beschluss vom xx.xx.xxxx keine Fragen in Bezug auf ethische oder diversitybezogene Anforderungen und Anpassungswünsche offen blieben.
Frage 1: Wurden die Anforderungen des PdV von den Entwicklern abgeschätzt?
(Dokumentationstext) Die Anforderungen des PdV wurden von den Entwicklern*innen hinsichtlich [Zeit, Ressourcen, Komplexität] abgeschätzt, wobei [Ergebnisse/Konklusionen der Schätzung] festgehalten wurden.
Frage 2: Wurden die Anforderungen des PdV nach der Abschätzung ggfs. neu priorisiert?
(Dokumentationstext) Nach der Abschätzung durch die Entwickler*innen wurden die Anforderungen des PdV [neu priorisiert/nicht neu priorisiert], basierend auf [Kriterien/Bewertungen].
QP 6
Der mitbestimmte Algorithmus braucht Testung: Die angepasste Software wird in einer Testumgebung vom PdV auf ihre Qualität hin überprüft.
Frage 1: Wurden alle Anforderungen des PdV auf Testbarkeit überprüft?
(Dokumentationstext) Die Anforderungen des PdV wurden auf Testbarkeit überprüft, wobei der Fokus auf Methodik und Ergebnissen lag. Die Überprüfung ergab [Ergebnisse], mit besonderer Berücksichtigung von [spezifischen Herausforderungen/Einschränkungen]. Erforderliche Anpassungen zur Verbesserung der Testbarkeit werden [erörtert/folgen].
Frage 2: Wurde die Anforderungen des PdV mit Testfällen und Testdaten hinterlegt, sodass sie später für Software-Tests genutzt werden können?
(Dokumentationstext) Beschreibung des Vorgehens
QP 7
Ein mitbestimmter Algorithmus wird demokratisch bestätigt durch Management, Betriebsrat und weitere relevante Stakeholder im Unternehmen inklusive dem Panel der Vielfalt
Last updated