Warum KIDD?

Warum ist es relevant, bei der Entwicklung oder Einführung von KI und/oder AES einen zusätzlichen Prozess mitzuberücksichtigen?

AES sind nicht neutral

Wie bereits in Was sind KI und AES? ausgeführt bieten KI und AES immenses Potenzial in fast allen Gesellschaftsbereichen, von persönlicher Assistenz, Governance und Gesundheitsversorgung, über Bildung und Forschung bis hin zu Verkehr und Umweltschutz. Neben den vielfältigen Möglichkeiten, die AES bieten, gibt es jedoch sowohl eine steigende Zahl negativer Ereignisse [, S. 13] als auch damit verknüpfte wachsende Bedenken hinsichtlich der potenziellen negativen Auswirkungen auf Individuen und Gesellschaften als Ganzes. Insbesondere die Fähigkeit zukünftiger aber auch bereits eingesetzter AES, bestehende Benachteiligungen und Diskriminierungen zu reproduzieren und zu verstärken, hat in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen [, ].

AES sind menschengemacht, lernen aus menschengemachten Daten und Wechselwirken wiederum mit anderen Systemen oder Menschen. Wenn im KI-Lebenszyklus historische, soziale, algorithmische oder anderweitige Verzerrungen (Bias) – also Abweichungen oder auch Fehler in der Wahrnehmung, Beurteilung oder Entscheidungsfindung - enthalten sind, kann das resultierende System unfaire und/oder diskriminierende Ergebnisse erzeugen []. Dies kann insbesondere in jenen Bereichen algorithmischer Entscheidungsfindung problematisch sein, in denen solche Systeme eingesetzt werden, um wichtige Entscheidungen zu treffen oder Empfehlungen abzugeben, die das Leben von Menschen unmittelbar beeinflussen [].

Es gibt eine Vielzahl an Beispielen für diese Art unfairer AES, unter anderem festgehalten in der AIAAIC (AI, Algorithmic, and Automation Incidents and Controversies) Datenbank. Im Folgenden geben wir drei eingängige Fälle von Diskriminierung durch AES an, die einige Aspekte ihrer potentiellen Auswirkungen und auch Aspekte in der Debatte um „Fairness and AI“ verdeutlichen sollen.

Beispiele für algorithmische Diskriminierung

Fallbeispiel 1: Automatisierte Spracherkennung

Das erste Beispiel betrifft den Einsatz von Algorithmen und Künstlicher Intelligenz (KI) zur automatischen Spracherkennung (ASR), der in verschiedenen Anwendungen in den letzten Jahren stark gewachsen ist. ASR wird beispielsweise für virtuelle Sprachassistenten in mobilen Geräten, Haushaltsgeräten und Fahrzeugsystemen genutzt. Weitere Einsatzfelder sind automatische Untertitelung von Videoinhalten oder digitale Diktierfunktionen für die Erfassung von bspw. medizinischen Aufzeichnungen oder anderen sprachbasierten Computeranweisungen. Insbesondere automatische Untertitelung und sprachbasierte Bedienung können für Menschen mit diversen Einschränkungen wie Hörverlust, motorischen-, oder kognitiven Einschränkungen die Barrierefreiheit erhöhen. Dabei gibt es die Befürchtung, dass Systeme dieser Art nicht gleichermaßen gut für alle Bevölkerungsgruppen funktionieren [].

Koenecke et. al. [] untersuchen in einer Studie mögliche rassistische Verzerrungen in fünf kommerziellen Systemen für ASR von Amazon, Apple, Google, IBM und Microsoft. Die Analyse basiert auf zwei Korpora mit insgesamt über 100 soziolinguistischen Interviews mit weißen und schwarzen Sprecher:innen verschiedener Altersgruppen aus 5 US-Städten, die auf Alter und Geschlecht abgeglichen wurden. Insgesamt umfassen die analysierten Audiodaten 19,8 Stunden Sprachmaterial.

Die Studie zeigt, dass alle fünf ASR-Systeme substanzielle rassistische Verzerrungen aufweisen. Die durchschnittliche lag mit 35 % für schwarze Sprecher:innen deutlich höher als mit 19 % für weiße Sprecher:innen. Besonders hoch war die Fehlerrate für schwarze Männer. Die Verzerrungen lassen sich auf Leistungsunterschiede in den akustischen Modellen zurückführen, da sich die Fehlerraten auch bei identischen Phrasen, die von Schwarzen und Weißen gesprochen wurden, etwa verdoppelten.

Nach Einschätzung der Autor:innen werden die Systeme durch , oder Merkmale des African American Vernacular English verwirrt. Eine mögliche Ursache dafür sei unzureichendes Audiomaterial von schwarzen Sprecher:innen beim Training der Modelle. Die Ergebnisse deuten darauf hin, dass es für Afroamerikaner:innen deutlich schwieriger ist, von der zunehmenden Verbreitung der Spracherkennungstechnologie zu profitieren. Um diese Unterschiede zu verringern, schlagen die Autor:innen Strategien wie die Verwendung diverserer Trainingsdatensätze vor, die auch African American Vernacular English einbeziehen. So könne eine inklusive Spracherkennungstechnologie gewährleistet werden.

Fallbeispiel 2: Automatisierte Gesichtserkennung

Ebenso hat der Einsatz von Gesichtserkennungstechnologie (FRT) in den letzten Jahren erheblich zugenommen. Die Technologie wird in zahlreichen Bereichen eingesetzt, darunter die Zugangskontrolle, Überwachung und biometrische Identifikation []. Trotz großer Fortschritte, insbesondere durch den Einsatz von Deep Learning, welches die Genauigkeit der Systeme deutlich verbessert hat [], haben Studien darauf hingewiesen, dass FTR-Systeme häufig ungleiche Fehlerquoten bei verschiedenen demografischen Gruppen aufweisen. Insbesondere dunkelhäutige Frauen werden häufiger falsch klassifiziert als hellhäutige Männer []. Falscherkennung erfolgt dementsprechend primär entlang der beiden Achsen Geschlecht und Hautfarbe. Dies kann für betroffene Personen schwerwiegende Folgen haben, insbesondere wenn die Technologie in Bereichen wie Strafverfolgung und/oder Rechtsprechung eingesetzt wird [].

Ein prominentes Beispiel für das Diskriminierungspotential durch FTR-Systeme ist der Fall von Amazon „Rekognition“. Das System ordnete fälschlicherweise 28 Mitglieder des US-Kongresses Personen in einer Polizeidatenbank zu []. Ein ähnlicher Vorfall ereignete sich, als dasselbe System 27 meist nicht-weiße Athleten fälschlicherweise mit Kriminellen identifizierte. Beide Fälle verdeutlichen das Potenzial von FTR-Systemen, bestehende gesellschaftliche Ungleichheiten zu verstärken und zu diskriminierenden Ergebnissen mit teils drastischen Folgen für die Betroffenen zu führen.

Die Ursachen dieser Ungleichheiten in der Erkennung sind dabei vielfältig. Oftmals sind unausgewogene Trainingsdatensätzen der Ausgangspunkt, sodass bestimmte demografische Gruppen stark unterrepräsentiert sind []. Dies führt dazu, dass Systeme dieser Art Gesichter von denjenigen Personen oder Personengruppen schlechter erkennen, die nicht der Mehrheit in den Trainingsdaten entsprechen. Darüber hinaus können aber auch technische Faktoren wie Beleuchtung oder Bildqualität die Erkennungsgenauigkeit beeinflussen, was sich häufig auch stärker auf bestimmte Gruppen auswirkt [].

Solch hohe Fehlerquoten werfen bei der Gesichtserkennung werfen dabei sowohl ethische als auch rechtliche Fragen auf, da Diskriminierung aufgrund von ethnischer Herkunft oder Geschlecht in vielen Ländern der Welt auch gesetzlich geregelt ist []. Der Einsatz von FTR-Systemen, die Diskriminierungen dieser Art (re)produzieren oder verstärken, kann daher neben der ethischen Dimension auch rechtliche Konsequenzen nach sich ziehen und verzerrte KI-Systeme untergraben zudem das Vertrauen der Betroffenen und der Öffentlichkeit in die verwendete Technologie.

Fallbeispiel 3: Predictive Policing

Bei dem dritten Beispiel handelt es sich um den Einsatz algorithmischer Systeme in der Strafverfolgung, wie etwa beim Predictive Policing. Mit diesem Ansatz sind vielfältige Hoffnungen verbunden, etwa eine effizientere Verteilung der Polizeiresourcen und eine präzisere Vorhersage von Straftaten. Dennoch zeigt sich auch hier, dass der Einsatz solcher Systeme bestehende Ungleichheiten und Diskriminierungen verstärken kann [, S. 50 ff].

Ein zentrales Beispiel ist das primär in den USA verbreitete COMPAS-System (Correctional Offender Management Profiling for Alternative Sanctions). Es bewertet das Rückfallrisiko von Straftätern und wurde zur Entscheidung über Bewährung, Kaution und Haftbedingungen genutzt. Ein Artikel von ProPulica aus dem Jahr 2018 berichtete, dass COMPAS bei schwarzen Angeklagten häufiger fälschlicherweise ein hohes Rückfallrisiko vorhersagte als bei weißen Angeklagten. Schwarze Angeklagte würden dabei fast doppelt so häufig als zukünftige Straftäter eingestuft, obwohl sie nicht erneut straffällig wurden, während weiße Angeklagte oft fälschlicherweise als weniger risikoreich eingestuft würden, obwohl sie erneut straffällig wurden []. Die algorithmische Verzerrung resultiere dabei aus der Art der Datenauswahl und Generierung, die in das System eingespeist und mit denen es trainiert wurde. COMPAS basierte auf 137 Fragen, die unter anderem das Bildungsniveau, den beruflichen Status und das soziale Umfeld der Angeklagten erfassten, jedoch keine direkte Frage nach der Ethnizität beinhalteten. Dennoch würden die erfassten Merkmale und Antworten als Proxyvariablen für ethnische Herkunft dienen, die zu der beschriebenen systematischen Ungleichbehandlung führen [].

Ähnlich problematisch sind auch andere Vorhersagesysteme im Bereich der Strafverfolgung, wie Ferris et. al. [] berichten. Im Fokus stehen die Anwendung von AES in der Strafjustiz in Europa und auch hier wird aufgezeigt, wie AES-Technologien, die oft auf Polizeidaten und -aufzeichnungen basieren, bestehende Vorurteile und Ungleichheiten verstärken und zu diskriminierenden Ergebnissen führen können. Ein Beispiel ist das niederländische System ProKid, das seit 2011 zur Risikobewertung von Kindern und Jugendlichen verwendet wird [, S. 8]. Es soll das Risiko zukünftiger Kriminalität bewerten, indem es Polizeidaten analysiert, einschließlich der Kontakte von Kindern mit der Polizei, ihrer Wohnadressen und Informationen über ihr "Wohnumfeld" [, S. 9]. Problematisch sei, dass ProKid Kinder aufgrund von Faktoren wie dem Strafregister ihrer Eltern oder Erziehungsberechtigten als "gefährdet" einstuft, auch wenn das Kind selbst noch kein Verbrechen begangen hat. Potentiell könne dies zu gravierenden Folgen führen, wie z. B. der Entnahme der Kinder aus ihrem Umfeld, basierend auf der Annahme, dass die Zukunft eines Kindes durch die Familiäre Vergangenheit vorherbestimmt sei. Ein weiteres Beispiel ist das "Crime Anticipation System" (CAS) der niederländischen Polizei, das seit 2017 landesweit eingesetzt wird [, S. 19]. Es soll Kriminalitätsraten in bestimmten Gebieten vorhersagen, indem es Daten aus verschiedenen Quellen nutzt, darunter frühere Verbrechen, Standortdaten und sozioökonomische Daten wie Familiengröße, Einkommen und Sozialleistungen [, S. 20]. Auch dies kann zu einer Diskriminierung bspw. von Menschen mit niedrigem Einkommen führen, die aufgrund ihrer finanziellen Situation als wahrscheinlicher kriminell eingestuft werden könnten. Das System verwendete ursprünglich auch die Anzahl von Personen mit nicht-westlichem Hintergrund als Indikator, was aber 2017 entfernt wurde [, S. 19]. Da aber auch hier viele der anderen Indikatoren als Proxyvariablen für ethnische Herkunft stehen, würden durch Anpassungen dieser Art, die geschilderten Probleme nicht gelöst. Beide Fälle zeigen, dass KI-Systeme im Justizbereich, obwohl oft als objektiv und neutral dargestellt, Ungerechtigkeiten verstärken und insbesondere für marginalisierte Gruppen zu unfairen Ergebnissen führen können.

Verzerrungen und ihre Vermeidung

Die aufgeführten Beispiele verdeutlichen, dass Verzerrungen in jeder Phase des KI-Lebenszyklus auftreten können, von der Datenerhebung über das Training bis zur Anwendung der Modelle. Diese Verzerrungen können zu unfairen und diskriminierenden Entscheidungen der Systeme führen.

Im Fall der automatisierten Spracherkennung führt der Prozess der Datenerhebung und -aufbereitung dazu, dass bestimmte Sprachmuster nicht ausreichend berücksichtigt werden, was zu höheren Fehlerraten bei bestimmten Gruppen führt. Bei der automatisierten Gesichtserkennung beeinflussen unausgewogene Trainingsdaten und technische Faktoren die Erkennungsgenauigkeit und führen so zu diskriminierenden Ergebnissen. Im Bereich des Predictive Policing zeigt sich, dass die Art der Datenerhebung, die Auswahl der Trainingsdaten und die Reaktion auf die Entscheidungen des Systems bestehende Vorurteile und Ungleichheiten verstärken oder gar neu kreieren.

Ein KI-Lebenszyklus beginnt üblicherweise mit der Datenerhebung und -auswahl, wobei eine Zielpopulation definiert und eine Stichprobe daraus gezogen sowie Merkmale identifiziert und gemessen werden. Dieser Datensatz wird in Trainings- und Testdaten aufgeteilt. Ein spezielles Modell wird auf Basis der Trainingsdaten angelernt und mit den Testdaten bewertet. Schließlich wird das Modell für die reale Anwendung bereitgestellt und trifft Entscheidungen für Nutzer:innen oder unterstützt diese bei ihrer Entscheidungsfindung. Der Prozess ist also zyklisch: Die Entscheidungen des AES beeinflussen den Zustand der Welt, der bei der nächsten Datenerhebung oder Entscheidungsfindung vorliegt.

Um diese Verzerrungen zu bekämpfen, gibt es verschiedene Mitigationsansätze. Eine zentrale, nicht auf der technologischen Seite angesiedelte Strategie ist die gezielte Förderung von Diversität in Entwicklungsteams und demjenigen Personenkreis, die das KI-System einführen wollen. Gezielte Diversität in Bezug auf verschiedene Aspekte trägt dazu bei, unterschiedliche Perspektiven so einzubringen, dass bewusste oder unbewusste menschliche Verzerrungen weniger stark in die Gestaltung des Systems einfließen. Genau an dieser Stelle setzt KIDD an.

Literatur

[1] Maslej, Nestor; Fattorini, Loredana; Brynjolfsson, Erik; Etchemendy, John; Ligett, Katrina; Lyons, Terah et al. (2023). The AI Index 2023 Annual Report. Hg. v. AI Index Steering Committee. Institute for Human-Centered AI, Stanford University. Stanford, CA. (Link, 30.03.2024).

[2] Crawford, Kate; Calo, Ryan (2016): There is a blind spot in AI research. In: Nature 538 (7625), S. 311–313. DOI: 10.1038/538311a.

[3] Barocas, Solon; Hardt, Moritz; Narayanan, Arvind (2023): Fairness and machine learning. Limitations and opportunities. Cambridge, Massachusetts: The MIT Press. (Link, 30.03.2024)

[4] Russell, Stuart J.; Norvig, Peter (2022): Artificial intelligence. A modern approach. Boston: Pearson (Always learning).

[5] Joy Buolamwini; Timnit Gebru (2018): Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Conference on Fairness, Accountability and Transparency, S. 77–91. (Link, 30.03.2024).

[6] Tatman, Rachael (2017): Gender and Dialect Bias in YouTube's Automatic Captions. In: Proceedings of the First ACL Workshop on Ethics in Natural Language Processing, S. 53–59. DOI: 10.18653/v1/W17-1606.

[7] Koenecke, Allison; Nam, Andrew; Lake, Emily; Nudell, Joe; Quartey, Minnie; Mengesha, Zion et al. (2020): Racial disparities in automated speech recognition. In: PNAS 117 (14), S. 7684–7689. DOI: 10.1073/pnas.1915768117.

[8] Orwat, Carsten; Kolleck, Alma (2020): Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen – in Überblick. Hg. v. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag. Berlin (TAB-Hintergrundpapier, 24). (Link, 30.03.2024)

[9] Raji, Inioluwa Deborah; Fried, Genevieve (2021): About Face: A Survey of Facial Recognition Evaluation. (Link, 30.03.2024)

[10] Snow, J. (2018): Amazon's Face Recognition Falsely Matched 28 Members of Congress With Mugshots. American Civil Liberties Union (Hg.). New York. (Link, 30.03.2024)

[11] Klare, B.; Burge, M.; Klontz, J.; Vorder Bruegge, R.; Jain, A. (2012): Face Recognition Performance: Role of Demographic Information. In: IEEE Transactions on Information Forensics and Security 7(6), S. 1789–1801

[12] Angwin, Julia; Larson, Jeff; Kirchner, Lauren; Mattu, Surya (2016): Machine Bias. In: ProPublica, 23.05.2016. (Link, 30.03.2024).

[13] Ferris, Griff; Min, Bruno; Nayak-Oliver, Misha (2021): Automating Injustice. The Use of Artificial Intelligence & Automated Decision-making Systems in Criminal Justice in Europe. Hg. v. Fair Trials. London.

AI-Act der Europäischen Union

Im April 2021 wurde ein erster Entwurf für ein europäisches KI-Gesetz vorgelegt, der im Verlaufe der Jahre 2023–2024 verabschiedet werden wird. Der Verordnungsentwurf verfolgt das Ziel, unerwünschte Anwendungsszenarien von KI-Systemen zu vermeiden und ein „Ökosystem des Vertrauens“ und der „Exzellenz“ für die Bürger*innen in der EU zu etablieren [].

Hierfür muss, so eine Hochrangige Expertengruppe der EU [], gewährleistet sein, „dass die Entwicklung, Einführung und Nutzung von KI-Systemen die Anforderungen an vertrauenswürdige KI erfüllen:

1. Vorrang menschlichen Handelns und menschliche Aufsicht,

2. technische Robustheit und Sicherheit,

3. Schutz der Privatsphäre und Datenqualitätsmanagement,

4. Transparenz,

5. Vielfalt, Nichtdiskriminierung und Fairness,

6. gesellschaftliches und ökologisches Wohlergehen sowie

7. Rechenschaftspflicht“ [, S. 3].

Auf dieser Grundlage soll eine Kritikalitäts- und Risikobewertung von KI vorgenommen werden. Alles, was als eindeutige Bedrohung für EU-Bürger:innen angesehen wird, wäre verboten. Anwendungsbereiche, die als risikobehaftet gelten – etwa im Personalmanagement, bei Migration und Asyl oder in der Bildung – müssen besondere Auflagen erfüllen. Für Anwendungen mit geringem Risiko gelten Transparenzanforderungen. Verboten wird also nicht die KI – deren Entwicklung nicht vorhersehbar ist –, sondern unerwünschte Anwendungsszenarien [].

Handelt es sich um eine Hochrisikoanwendung, dann sieht die Verordnung eine Reihe von Pflichten für Anbietende, Nutzende und weitere Beteiligte dieser KI-Anwendungen vor. Insbesondere für Anbietende (z. B. KI-System entwickelnde Firmen), aber auch Einführende (z. B. Firmen, die KI-Systeme für eigene Anwendungsszenarien einführen, bspw. im Personalmanagement) ist eine umfassende „Ex-ante-Konformitätsbewertung“ mittels interner Prüfung vorgesehen [].

Um der Verantwortung zur Etablierung einer vertrauenswürdigen KI nachzukommen und eine innerbetriebliche Unterstützung zur prozessualen Umsetzung der gesetzlichen Pflichten (AI Act) bei der Implementierung von KI-Systemen bereitzustellen, wurde der KIDD-Prozess entwickelt.

Im Sinne des ersten Entwurfs für ein europäisches KI-Gesetz

• … hilft der KIDD-Prozess, die geforderte Transparenz und menschliche Aufsicht durch Beteiligung der Stakeholder:innen (insbesondere Anwender:innen) zu verwirklichen.

• … hilft KIDD, die geforderte Datenqualität in Bezug auf Verzerrungsfreiheit im Kontext von Vielfalt, Nicht-Diskriminierung und Fairness (Kernforderung der Ethik-Kommission) zu erreichen.

• … ist KIDD integraler Bestandteil des geforderten Qualitätsmanagements.

• … ist KIDD integraler Bestandteil des Konformitätsbewertungsverfahrens (das vom Unternehmen zu erfolgen hat).

• … wird die Dokumentation des KIDD-Prozesses zum integralen Bestandteil der geforderten technischen Dokumentation.

Kurz: Der KIDD-Prozess hilft, die Anforderungen in Bezug auf menschliche Aufsicht, Transparenz, Datenqualität (in Bezug auf Verzerrungsfreiheit im Kontext der Diversität) und die Beteiligung von Interessenträgern an der Konzeption und Entwicklung von KI-Systemen zu gewährleisten.

Literatur

[1] Europäische Kommission (2021). Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz zur Künstlichen Intelligenz) und zur Änderung bestimmter Rechtsakte der Union. (Link, 06.04.2023)

[2] Hochrangige Expertengruppe (2019). Unabhängige Hochrangige Expertengruppe für Künstliche Intelligenz. Eingesetzt durch die Europäische Kommission im Juni 2018. Ethik-Leitlinien für eine vertrauenswürdige KI. (Link, 06.04.2023)

[3] Wedel, Marco. (2023). Bessere KI dank Diversität. Im Rahmen des Projektes Digitales Deutschland. (Link, 06.04.2023)

Normungsroadmap KI

Die Deutsche Normungsroadmap KI wurde im Dezember 2022 in der zweiten Auflage veröffentlicht []. Im Auftrag des Bundesministeriums für Wirtschaft und Klimaschutz, organisiert von DIN und DKE, wurde in einem breiten Beteiligungsprozess und unter Mitwirkung von mehr als 570 Fachleuten aus Wirtschaft, Wissenschaft, öffentlicher Hand und Zivilgesellschaft der strategische Fahrplan für die KI-Normung weiterentwickelt. Die Normung ist Teil der KI-Strategie der Bundesregierung und ein strategisches Instrument zur Stärkung der Innovations- und Wettbewerbsfähigkeit der deutschen und europäischen Wirtschaft. Nicht zuletzt deshalb spielt sie im geplanten europäischen Rechtsrahmen für KI, dem Artificial Intelligence Act, eine besondere Rolle [, S. 5].

Vertreter:innen des KIDD-Konsortiums waren an der Erstellung der zweiten Auflage der Normungsroadmap KI beteiligt, vor allem in der Arbeitsgruppe Soziotechnik. So wurde die Co-Leitung der Arbeitsgruppe Soziotechnik durch Rosmarie Steininger wahrgenommen, die in KIDD das Arbeitspaket „KI und Algorithmen transparent und verständlich machen“ verantwortet. Zudem waren zahlreiche weitere KIDD-Vertreter:innen an Diskussionen und Textarbeit beteiligt.

KIDD dient in der Normungsroadmap KI als Best Practice Beispiel für die Umsetzung von Beteiligungsprozessen in der Konzeption und Entwicklung von KI [, S. 52, S. 160, S. 168] und zur Operationalisierung von Ethik [, S. 85].

Umgekehrt war die Arbeit an und die Ergebnisse von der Normungsroadmap KI Inspiration für die Arbeit in KIDD. Insbesondere die Kapitel Grundlagen mit Ethik (Kapitel 4.1.2.1), Prüfung und Zertifizierung (Kapitel 4.3) und Soziotechnik (Kapitel 4.4) bieten wichtige Impulse für KI im Dienste der Diversität.

Literatur

[1] Wahlster, Wolfgang; Winterhalter, Christoph (Hg.) (2022). Deutsche Normungsroadmap Künstliche Intelligenz. Ausgabe 2. DIN e.V.; DKE Deutsche Kommission Elektrotechnik. (Link, 25.05.2023)