B3: Allgemeine PdV-Anforderungsklärung

Formulierung von KIDD-Zielen im KIDD-Prozess

Template für die Formulierung allgemeiner technischer bzw. strategisch/organisationaler Anforderungen

Einordnung in den KIDD-Prozess

In Abschnitt B des KIDD-Prozesses, Anforderungsklärung, findet eine erste Klärung der Anforderungen des PdV an das einzuführende algorithmische Entscheidungssystem (AES) im Prozessschritt B3 statt. An dieser Stelle geht es darum, Ziele zu formulieren, die das AES erfüllen soll, z.B. generell faire, diskriminierungsfreie Ergebnisse, oder auch die Erfüllung einer Quote.

Später dann in Prozessschritt C2: spezifische Anforderungsklärung folgt die Formulierung von messbaren KIDD-KPIs sowie die Definition von Testfällen in Prozessschritt C3, um die PdV-Anforderungen/Ziele, die mithilfe dieser Handreichung formuliert werden und entsprechend vorgenommene Anpassungen am System zu überprüfen. Für die Handreichung zu C2 siehe hier und für C3 hier.

Begriffsdefinitionen

Zielsetzung: Gewünschte Funktionsweise des Systems, die ex ante (dt. im Voraus) definiert wird. Das Panel der Vielfalt hat die Aufgabe, Zielvorgaben in Bezug auf Fairness und Diversität zu definieren. Diese Zielvorgaben können entweder dem System direkt als Zielvariablen mitgegeben werden oder als Zielkorridore definiert werden, mit denen dann ex post (dt. im Nachhinein) KPIs verglichen werden.

KPI (Key Performance Indicator): Leistungskennzahl, anhand derer der Fortschritt oder der Erfüllungsgrad hinsichtlich der Zielsetzung gemessen werden kann. Diese Messung erfolgt im Betrieb, ex post.

Testfälle: Überprüfung der gewünschten Funktionsweise des Systems in einem spezifischen Anwendungsfall. In einem Testfall werden Inputs ins System, erwartete Funktionsweise und erwartete Outputs des Systems definiert. In der Testphase wird dann für jeden Testfall die tatsächliche mit der erwarteten Funktionsweise verglichen.

Beispiel: Wenn in einem Lebenslauf nur der Geburtsort geändert wird, soll dies keinen Einfluss auf die Listung auf einer Shortlist für eine Stelle haben.

Um sicherzustellen, dass ein System aus Sicht des Panels der Vielfalt fair ist, müssen sowohl Zielsetzungen als auch KPIs und Testfälle definiert und überwacht werden (Monitoring).

Hierbei stellen sich folgende Fragen: wie entscheiden wir, was „fair“ ist aus der KIDD-Perspektive (ethisch und diversitätssensibel) und ob KIDD entsprechend wirksam ist?

Weiter konkretisiert:

• Wie lassen sich die PdV-Anforderungen mit Zielen hinterlegen?

• Wie lassen sich diese Ziele mit dem Ergebnis aus der Testung abgleichen?

• Wie lässt sich bewerten, ob die Anpassungen am AES im KIDD-Sinne einer diversitätssensiblen Einführung erfolgreich waren?

Herleitung von KIDD-Zielen

Um die Wirksamkeit der KIDD-spezifischen Anpassungen an das AES zu überprüfen, ist die Formulierung KIDD spezifischer Ziele ratsam.

Hierbei knüpfen wir an die Algo.Rule Nr. 3 an, die vom iRightsLab und der Bertelsmann Stiftung in 2020 formuliert wurde. Diese empfiehlt „messbare Indikatoren auswählen und klar definieren, damit die beabsichtigte Wirkung und Erreichung der Ziele in der Praxis getestet werden können“ [].

Algo.Rule Nr. 3: Ziele und erwartete Wirkung dokumentieren

„Bei den Algo.Rules handelt es sich um einen Katalog an formalen Regeln, die beachtet werden müssen, um eine gesellschaftlich förderliche Gestaltung und Überprüfung von algorithmischen Systemen zu ermöglichen und zu erleichtern. Sie legen eine Grundlage für ethische Erwägungen und für die Um- und Durchsetzung rechtlicher Rahmenbedingungen.“ [, S. 13]

Bei der Formulierung dieser messbaren Indikatoren ist zu beachten, dass diese von der übergeordneten strategischen Zielsetzung des jeweiligen Unternehmens sowie dem Einsatzgebiet des AES abhängen und daher keine allgemeingültigen Zielgrößen vorgegeben werden können. Vielmehr geben wir in dieser Handreichung eine Hilfestellung zur Herleitung von KIDD-Zielen sowie weiterführende Literaturempfehlungen.

Die Formulierung von KIDD-KPIs, welche dann in Prozessschritt C2 relevant sind, wird hier in einer separaten Handreichung thematisiert. Ebenso finden Sie eine Handreichung für KIDD-Testfälle (C3) hier.

Metafragen

Um eine Bewertung des algorithmischen Entscheidungssystems (AES) in Bezug auf Diversität vornehmen zu können, ist die Auseinandersetzung mit einer Reihe von Metafragen notwendig. Diese sind im gegebenen betrieblichen Kontext und dem spezifischen Anwendungsfall zu beantworten.

Zur Veranschaulichung nehmen wir das Beispiel eines AES, das für das Recruiting im Unternehmen zur Anwendung kommt.

Hier könnten Sie sich folgende Fragen stellen:

• Wie sieht der Status Quo bei den Beschäftigten in den Diversitätskategorien aus?

  • Persönliche Merkmale: Alter, Geschlecht, Herkunft

  • Weitere Merkmale: Arbeitserfahrung (in Jahren bzw. Senioritätslevel: Einstieg / Professional / Führungsrolle), fachliche Expertise, akademischer Grad / Ausbildung, Führungserfahrung

• Welche Bezugsgröße wird zur Bewertung der Fairness der Ergebnisse gewählt?

  • Unternehmen (z.B. Recruiting Ergebnisse soll internen Status Quo abbilden)

  • Gesamtgesellschaft (z.B. Recruiting Ergebnisse sollen Diversität in ganz Deutschland repräsentieren)

• Gibt es ein Recruiting-Ziel oder eine Diversitätsstrategie?

  • nach der die verschiedenen Diversitätskategorien im Recruiting gewichtet/priorisiert werden sollten (z.B. Füllen einer Vakanz mit spezifischen fachlichen Anforderungen, Fokus auf Fachkräftemangel, Steigerung des Frauenanteils in Fach- und Führungspositionen)

• Welche Gewichtung / Priorisierung der einzelnen Kategorien wird daraufhin vorgenommen?

Eine ausführliche Auseinandersetzung zur Bedeutung von Diversity und Ethik und den relevanten Diversitätskategorien im Kontext des KIDD-Prozesses finden Sie in der KIDD Präambel.

Formulierung von Zielvorgaben für das System (ex ante)

Die vom Panel der Vielfalt definierten Kennzahlen für Fairness können auf zwei ganz unterschiedlichen Wegen im algorithmischen Entscheidungssystem (AES) abgebildet werden.

Ist von vorne herein eine ganz bestimmte Funktionsweise des Systems gefordert, ist dies eine Zielvorgabe für das System. Je nachdem, ob das AES mit regelbasierten Algorithmen oder Machine Learning arbeitet, wird eine solche Zielvorgabe im System unterschiedlich umgesetzt.

Bei allen AES führt eine solche Zielvorgabe aber dazu, dass insgesamt weniger Freiheitsgrade bestehen und andere definierte Zielvorgaben an Gewicht verlieren. Daher sollte eine solche Zielvorgabe sehr genau durchdacht und in Bezug auf die anderen Zielvorgaben ans System gewichtet werden.

Am Beispiel des AES-gestützten Recruitings lassen sich einige Varianten von Zielvorgaben wie folgt formulieren.

Zielt man auf Fairness in Bezug auf die Gesamtgesellschaft bzw. den Bewerber:innen-Pool ab, so ergibt sich folgende Zielsetzung:

• Repräsentativ: prozentualer Anteil auf der Shortlist entspricht dem Anteil im Bewerber:innen-Pool (z.B. Anteil von 10% Bewerber:innen mit Merkmal Y im Pool = 10% auf der Shortlist)

Gibt es dagegen eine spezifische Zielsetzung im Rahmen einer Diversitätsstrategie (z.B. Frauenanteil in technischen Berufsfeldern erhöhen bzw. konstant halten) so können die Ziele wie folgt formuliert werden:

• Gewünschter Mehranteil: prozentualer Anteil auf der Shortlist liegt über tatsächlichem Anteil im Bewerber:innen-Pool (z.B. 10% Frauen im Bewerber:innen-Pool = 10% + x% auf der Shortlist)

• Gleichverteilung: gleicher Anteil (50/50) aller Geschlechter auf der Shortlist unabhängig vom Bewerber:innen-Pool

• Quote: Mind. x% eines bestimmten Geschlechts auf der Shortlist

• Konkrete Kennzahl: Beispiel siehe unten

Beispiel: Das Unternehmen hat die Zielsetzung, Menschen aus Gruppe Y zu fördern. Um dies zu erreichen, wurde festgelegt, dass auf jeder Shortlist für jede Stelle stets mindestens ein Mitglied aus Gruppe Y erscheint.

Das AES erhält neben einer Reihe von anderen Zielvorgaben (z.B. „Eine Person soll eher auf der Shortlist erscheinen, wenn sie mehr Erfahrung mit den geforderten Skills besitzt.“ oder „Eine Person soll eher auf der Shortlist erscheinen, wenn sie bereits Erfahrung in der Branche hat.“ ) auch diese Zielvorgabe:

„Auf jeder Shortlist soll mindestens eine Person aus Gruppe Y erscheinen“.

Dies führt dazu, dass die Person aus Gruppe Y möglicherweise andere Personen, die aufgrund der anderen Zielsetzungen höher gelistet wäre, auf der Shortlist ersetzt. Dies kann im Sinne der Gesamt-Zielsetzung des Unternehmens sinnvoll sein, sollte aber gut überlegt sein.

Der zweite Weg, um mit Fairness-Kennzahlen in einem AES umzugehen, ist, relevante Daten im Betrieb zu erheben, in KPIs darzustellen und mit einem definierten Fairness-Zielkorridor zu vergleichen. Diese Formulierung von KIDD-KPIs wird in der zugehörigen Handreichung von Prozessschritt C2 thematisiert.

Template

Konkret lässt sich das oben erwähnt im „Anforderungen-Annahmen“-Format festhalten.

Dadurch soll sichergestellt werden, dass die Annahmen hinter den Anforderungen transparent gemacht werden und diese in späteren Schritten des KIDD-Prozesses hilfreich sein können, um konkrete Messwerte und Testfälle abzuleiten. Ebenso können auch strategische und organisationale Anforderungen und Annahmen aufgelistet werden, die in nachfolgenden Schritten berücksichtigt werden sollen.

Anforderungen	Annahmen
Beispiel: Die Verteilung der Geschlechter bei den Ergebnissen einer Personalauswahl-Software sollte im Verhältnis zur Geschlechterverteilung bei den Bewerbungen spezifisch gesetzt und transparent gemacht werden.	Beispiel: Wenn die Geschlechter-Verteilung bei Input- und Output-Daten transparent ist, lässt sich leichter überprüfen, ob es unerwünschte Verzerrungen gibt.

Literatur

[1] Puntschuh, Michael; Fetic, Lajla (2020), Praxisleitfaden zu den Algo.Rules. Orientierungshilfen für Entwickler:innen und ihre Führungskräfte. iRights.Lab; Bertelsmann Stiftung. (Link, 17.08.2023)

[2] Hallensleben, Sebastian; Hustedt, Carla; Fetic, Lajla; Fleischer, Torsten; Grünke, Paul; Hagendorff, Thilo et al. (2020), From Principles to Practice. An interdisciplinary framework to operationalise AI ethics. AI Ethics Impact Group. (Link, 17.08.2023).