B8: Herstellung von Transparenz über die Software
Präambel: Verwendungshinweis zum Transparenzkatalog
Der KIDD-Transparenzkatalog ist ein Hilfsmittel für die Anforderungsklärung, das helfen soll den Austausch mit Softwareanbietenden zu erleichtern und ein Katalog zur Orientierung, um alle für Diversität und Fairness wichtigen Fragestellungen an eine Software im Blick zu haben. Das KI-System wird hinsichtlich der drei Kategorien Daten, Regeln und Architektur betrachtet, um darauf fokussiert jeweils konkrete und tiefere technische Fragen stellen zu können.
Die Voraussetzungen des Einsatzes des Transparenzkataloges sind:
Das Panel der Vielfalt hat die nötigen Basisinformationen, Schulungen oder externen Experten-Rat, um die neuralgischen Punkte eines KI-Systems diskutieren zu können und zu einem Ergebnis zu kommen.
Die Ziele des Einsatzes des Transparenzkataloges sind:
Die Funktionsweisen des KI-Systems (Daten, Regeln, Architektur) wurden transparent gemacht.
Die neuralgischen Punkte wurden für das Panel der Vielfalt verständlich dargestellt (z.B. mit Hilfe des Transparenzkatalogs)
Das Panel der Vielfalt hat Ziele und Leitplanken für die neuralgischen Punkte des KI-Systems definiert.
Die Ziele wurden in spezifischen Anforderungen, Testfällen oder Messgrößen abgebildet.
Relevante Testfälle können durchgeführt und spezifische Messgrößen beobachtet werden, so dass die Software vom Panel der Vielfalt als zufriedenstellend abgenommen werden kann.
Verwendung des Transparenzkatalogs:
Das softwareanbietende Unternehmen füllt den Katalog im Austausch mit KIX aus. Der KIX kann hierzu auf einem gemeinsam zugänglichen Dokument solange Rückfragen stellen, bis alle Antworten für ihn verständlich dargestellt wurden.
Der KIX bereitet die kritischen Stellen verständlich für das Panel der Vielfalt auf und plant zusammen mit KIM den Workshop zu spezifischen Anforderungsklärung.
Der spezifische Anforderungsklärungs-Workshop dient dazu, dass die kritischen Stellen besprochen werden und daraufhin Chancen und Risiken erkannt werden. Anschließend werden:
Chancen und Risiken in strategisch/organisatorisch und software-technisch gruppiert,
Priorisiert,
Ansprechpartner:innen aus dem Panel der Vielfalt zugewiesen
Und Anforderungen definiert, die Risiken vermeiden oder mindern oder Chancen nutzen sollen.
Transparenzkatalog
Zur Schaffung einer vertrauenswürdigen KI müssen Inklusion und Vielfalt während des gesamten Lebenszyklus des KI-Systems garantiert sein. Neben der Berücksichtigung und Einbindung aller betroffenen Interessenträger in den gesamten Prozess setzt dies auch die Sicherstellung eines gleichberechtigten Zugangs durch inklusive Gestaltungsprozesse sowie Gleichbehandlung voraus. Diese Anforderung ist eng mit dem Grundsatz der Fairness verbunden.
Vermeidung unfairer Verzerrungen. Die von KI-Systemen (sowohl zur Ausbildung als auch für den Einsatz) verwendeten Datensätze können unbeabsichtigte Verzerrungen und schlechte Lenkungs- und Kontrollmodelle aufweisen oder unvollständig sein. Die Fortschreibung solcher Verzerrungen könnte (in)direkte Vorurteile und die Diskriminierung bestimmter Gruppen oder Personen zur Folge haben und Vorurteile und Marginalisierung potenziell verschärfen. Erkennbare diskriminierende Verzerrungen sollten nach Möglichkeit in der Phase der Datenerhebung beseitigt werden. Auch die Art und Weise, wie KI-Systeme entwickelt werden (z. B. wie der Programmcode eines Algorithmus geschrieben wird), kann durch unfaire Einflüsse beeinträchtigt werden. Dem könnte durch die Einführung von Aufsichtsverfahren entgegengewirkt werden, mit deren Hilfe der Zweck, die Einschränkungen, Anforderungen und Entscheidungen des Systems klar und transparent analysiert und angegangen werden können. Darüber hinaus sollte die Beschäftigung von Personen mit unterschiedlichen kulturellen Hintergründen und die aus verschiedenen Fachrichtungen stammen, gefördert werden, da dies zur Gewährleistung der Meinungsvielfalt beitragen könnte.
Barrierefreiheit und universeller Entwurf. Insbesondere in der Beziehung zwischen Unternehmen und Verbrauchern sollten die Systeme benutzerorientiert gestaltet sein, dass alle Menschen unabhängig von ihrem Alter, Geschlecht, ihren Fähigkeiten oder Merkmalen KI-Produkte oder -dienstleistungen nutzen können. Die barrierefreie Zugänglichkeit dieser Technologie für Menschen mit Behinderungen, die in allen gesellschaftlichen Gruppen präsent sind, ist von besonderer Bedeutung. So werden ein gerechter Zugang und eine aktive Beteiligung aller Menschen an bestehenden und neu hinzukommenden computergestützten menschlichen Tätigkeiten, auch im Hinblick auf assistierende Technologien, möglich sein.
Beteiligung der Interessenträger. Zur Entwicklung vertrauenswürdiger KI-Systeme ist eine Konsultation der Interessenträger ratsam, die möglicherweise während des gesamten Lebenszyklus des Systems direkt oder indirekt von diesem betroffen sind. Es ist von Vorteil, auch nach der Einführung eines Systems regelmäßige Rückmeldungen einzuholen und längerfristige Vorkehrungen zur Beteiligung der Interessenträger zu schaffen, beispielsweise durch die Gewährleistung der Schulung, Anhörung und Beteiligung der Arbeitnehmerinnen und Arbeitnehmer während des gesamten Prozesses der Implementierung von KI-Systemen in einem Unternehmen.
Daten
Schutz der Privatsphäre und Datenschutz. KI-Systeme müssen den Schutz der Privatsphäre und den Datenschutz in allen Phasen des Lebenszyklus eines Systems gewährleisten. Dies umfasst auch anfänglich vom Benutzer angegebene Informationen sowie die im Verlauf der Interaktion mit dem System über den Benutzer erzeugten Informationen. Aus digitalen Aufzeichnungen über das menschliche Verhalten können KI-Systeme nicht nur auf persönliche Vorlieben einzelner Menschen, sondern auch auf sexuelle Ausrichtung, Alter und Geschlecht sowie religiöse oder politische Ansichten schließen. Damit die Menschen Vertrauen in die Datenverarbeitung haben können, muss sichergestellt sein, dass die über sie gesammelten Daten nicht dazu verwendet werden, sie unrechtmäßig oder unfair zu diskriminieren.
Qualität und Integrität der Daten. Die Qualität der verwendeten Datensätze ist für die Leistungsfähigkeit von KI-Systemen von entscheidender Bedeutung. Bei der Erfassung der Daten können sozial bedingte Verzerrungen, Ungenauigkeiten, Fehler und andere Mängel auftreten. Solche Probleme müssen vor der Ausbildung mit einem bestimmten Datensatz behoben werden. Darüber hinaus muss die Integrität der Daten gewährleistet sein. Die Eingabe schädlicher Daten in ein KI-System kann sein Verhalten verändern, insbesondere bei selbstlernenden Systemen. Die verwendeten Prozesse und Datensätze müssen in allen Schritten wie Planung, Ausbildung, Erprobung und Einsatz getestet und dokumentiert werden. Dies sollte auch für KI-Systeme gelten, die nicht intern entwickelt, sondern von außerhalb erworben werden.
Datenquelle - Haben Sie Maßnahmen ergriffen, um sicherzustellen, dass die zur Entwicklung des KI-Systems verwendeten Daten (einschließlich Trainingsdaten) von hoher Qualität, vollständig und repräsentativ für die Umgebung, in der das System eingesetzt werden soll, sind?
Welche Daten werden verarbeitet? Haben sie die Datenquellen und die Struktur der Datenquellen sowie die Aufbereitung und Strukturierung der Daten dokumentiert?
Helfen die verwendeten Daten bei der Lösung des vorliegenden Problems?
Sind die Datenquellen bezogen auf das vorliegenden Problem vollständig und repräsentativ?
Wie werden diese Daten erhoben? Gibt es bei historischen Daten bzgl. der Diversitätsmerkmale Unterschiede bei der Erhebung?
Haben Sie mögliche Verzerrungen bei der den Datenerhebungsprozessen berücksichtigt, diese überprüft und dokumentiert?
Gibt es genug aussagekräftige Faktoren in den Daten, um die Ergebnisse mit hoher Genauigkeit für alle Personengruppen vorhersagen zu können?
Wenn man sich die entscheidenden Faktoren genauer anschaut, erkennt man Faktoren, die auf stereotypischen Vorurteilen beruhen?
Haben Sie gegebenenfalls die Vielfalt und Repräsentativität der Endnutzer und/oder Probanden in den Daten berücksichtigt?
Zwecke der Datennutzung - Was sind die Zwecke der Datennutzung?
Zu welchem Zweck wurden genau die Datenquellen ausgewählt und eingesetzt? Unterscheiden sich die Zwecke je nach Datenquelle?
Sind die verwendeten Daten/ Features, sinnvoll für das gewünschte Ergebnis? Gibt/Gab es Alternativen?
Werden die Daten nur für Zwecke genutzt, denen die Betroffenen explizit zugestimmt haben und die den Betroffenen transparent gemacht wurden?
Datensparsamkeit & Vollständigkeit - Sind die Daten vollständig genug vorhanden, damit das System funktioniert und werden gleichzeitig nicht überflüssige Daten in das System eingespeist?
Ist die Datenmenge representativ, um daraus belegbare Aussagen über den betroffenen Personenkreis abzuleiten?
Wurde das Grundprinzip der Datensparsamkeit beachtet? Auf welche Daten könnte noch am ehesten verzichtet werden?
Wurde bei der Verwendung verwandter Merkmale (Proxies) die Gleichwertigkeit geprüft?
Behindern systematisch nicht beobachtbare Merkmale eine korrekte Entscheidungsfindung oder schränken sie diese ein?
Ist die Datenbasis für den Kontext der Lösung angemessen?
Datenqualität - Wie wird die Sicherung der Datenqualität gewährleistet?
Gibt es Verzerrungen in den Daten oder systematische Unvollständigkeit bei der Datenerhebung oder historischen Daten, die Nachteile für eine oder mehrere Gruppen verursachen?
Wie hoch ist die Datenqualität für die angestrebten Zwecke und wie wird die Datenqualität gemessen?
Sind die Stichprobengrößen ungleich bzgl. bestimmter Personengruppen oder Merkmalen?
Ist das Labeling der Daten konsistent und zuverlässig?
Sensible Faktoren & Anonymisierung - Welche sensiblen oder personenbezogenen Daten gibt es im System und sind diese hinreichend anonymisiert?
Sind nur solche sensible und personenbezogene Daten verwendet worden, die für die Funktionalität des Systems unabdingbar sind?
Liefert die Verwendung dieser Daten bessere Ergebnisse oder verschlechert sie diese?
Ist aufgrund der Art der Daten eine Deanonymisierung möglich?
Wurden Korrelationen zwischen einzelnen Merkmalen und sensiblen Daten analysiert und ungewollte Verzerrungen oder Diskriminierungen aufgrund dieser verhindert?
Korrelieren die einzelnen Faktoren mit den sensiblen Angaben, sodass man auch bei Ausschluss der sensiblen Faktoren die Verzerrung implizit verfestigt?
Verteilungen in den Merkmalen - Wie sind die Merkmale in den Daten verteilt?
Wie ist die Verteilung der Merkmale in den Daten, welche Folgen hat dies und wie wird damit umgegangen?
Wurden durch Methoden der Datenauswahl Ungleichverteilungen in einzelnen Personengruppen oder Merkmalen ausgeglichen?
Fällt die Bewertung einzelner Gruppen anders aus als wenn sie kombiniert betrachtet werden (Simpson-Paradoxon)?
Wird prädiktive Konfidenz also die Verhinderung von systematischen Ungenauigkeiten aufgrund von unterschiedlichen Datenmengen nach Merkmalen verhindert?
Ist der Datensatz hinsichtlich Merkmalen und sensiblen Faktoren ausgeglichen?
Regeln / Algorithmen
Algorithmenauswahl - Welche Regeln und Algorithmen werden verwendet?
Welche Art von Algorithmen werden eingesetzt? Klassisch regelbasierte oder KI-basierte Algorithmen ?
Welche Art von KI wird verwendet?
Nach was wird mit dem Algorithmus gesucht?
Was ist der Output des Algorithmus?
Welche klassischen Algorithmen stehen zur Auswahl und passen gut zum modellierten Problem?
Wenn KI: welche Lern-Algorithmen stehen zur Auswahl und passen gut zu den Daten bzw. zu dem gestellten Problem?
Nach welchen Kriterien wurden die Algorithmen ausgewählt und konfiguriert?
Wie werden diese Lern-Algorithmen konkret konfiguriert und woraufhin optimiert?
Nach welchen Metriken wurden Algorithmenauswahl und Konfiguration optimiert?
Passen die Algorithmenauswahl und die verwendeten Metriken zur konkreten Situation, Aufgabenstellung und Daten?
Wurden bei der Algorithmenauswahl die Menge an nötigen Daten, die Interpretierbarkeit des Algorithmus, Anpassungsmöglichkeiten und Performance sorgfältig abgewogen und wenn ja, wie?
Haben Sie Prozesse eingeführt, die sicherstellen, dass der zu erwartende Grad der Genauigkeit des KI-Systems der Endnutzer und/oder Probanden angemessen kommuniziert wird?
Haben Sie eine Reihe von Schritten eingeleitet, um die Genauigkeit des KI-Systems zu überwachen und zu dokumentieren?
Ist das KI-System für alle Personengruppen (auch sogenannte Protected Groups) gleich genau?
Haben Sie Art, Ziel und Output des Algorithmus dokumentiert und sich daraus ergebende Problematiken in Bezug auf Verfestigung oder Lernen von Verzerrungen mitgedacht?
Interpretierbarkeit der Methode - Kann der Output des Systems aufgeschlüsselt und erklärt werden?
Diese Anforderung ist eng mit dem Grundsatz der Erklärbarkeit verbunden und bezieht sich auf die Transparenz der für ein KI-System relevanten Komponenten: die Daten, das System und die Geschäftsmodelle.
Rückverfolgbarkeit. Die Datensätze und Prozesse, die zu der Entscheidung des KI-Systems geführt haben, einschließlich der Datenerfassung und -kennzeichnung sowie der verwendeten Algorithmen, sollten so gut wie möglich dokumentiert werden, um deren Rückverfolgbarkeit sicherzustellen und die Transparenz zu erhöhen. Dies gilt auch für die vom KI-System getroffenen Entscheidungen. So können die Gründe für eine fehlerhafte KI-Entscheidung ermittelt werden, was wiederum zur Vermeidung zukünftiger Fehler beitragen kann. Rückverfolgbarkeit erleichtert somit die Nachprüfbarkeit und Erklärbarkeit.
Erklärbarkeit. Erklärbarkeit bezieht sich auf die Möglichkeit, sowohl die technischen Prozesse eines KI-Systems als auch die damit verbundenen menschlichen Entscheidungen (z. B. Anwendungsbereiche eines KI-Systems) zu erklären. Technische Erklärbarkeit setzt voraus, dass die von einem KI-System getroffenen Entscheidungen vom Menschen verstanden und rückverfolgt werden können. Darüber hinaus müssen möglicherweise Kompromisse zwischen einer verbesserten Erklärbarkeit eines Systems (was die Präzision beeinträchtigen kann) und mehr Präzision (auf Kosten der Erklärbarkeit) eingegangen werden. Eine Erklärung für den Entscheidungsprozess eines KI-Systems sollte rechtzeitig erfolgen und auf die jeweilige Sachkenntnis des betroffenen Interessenträgers (z. B. Laie, Regulierungsbehörde oder Forscher) zugeschnitten sein. Darüber hinaus sollten Erläuterungen darüber vorliegen, inwieweit ein KI-System die Entscheidungsprozesse einer Organisation beeinflusst und gestaltet, aber auch über die Entwurfsentscheidungen und die Gründe für die Einführung des Systems (zur Gewährleistung der Transparenz des Geschäftsmodells).
Kommunikation. Menschen haben das Recht, darüber informiert zu werden, dass sie mit einem KI-System interagieren. Dies bedeutet, dass KI-Systeme als solche erkennbar sein müssen. Zur Gewährleistung der Einhaltung der Grundrechte sollte darüber hinaus bei Bedarf die Möglichkeit bestehen, sich gegen diese Interaktion und zugunsten einer zwischenmenschlichen Interaktion zu entscheiden. Darüber hinaus sollten die Fähigkeiten und Einschränkungen des KI-Systems den Anwender:innen der KI und den Endnutzer:innen in einer dem jeweiligen Anwendungsfall angemessenen Weise mitgeteilt werden.
Können die Outputs des Systems individuell für Betroffene aufgeschlüsselt und erklärt werden?
Ist die Modellkomplexität unnötig hoch? Wie lässt sich die Modellkomplexität reduzieren, ohne dass die Qualität der Ergebnisse beeinflusst ist?
Können die Outputs aufgeschlüsselt werden, indem sie bis auf die für diese Outputs verantwortlichen Inputs zurückgehend erklärt werden können?
Werden sogenannte Counterfactual Examples gegeben, also Beispiele wie man als Einzelperson die individuellen Ergebnisse für sich verbessern könnte?
Haben Sie Maßnahmen ergriffen, um die Rückverfolgbarkeit des KI-Systems während seines gesamten Lebenszyklus zu gewährleisten?
Haben Sie Maßnahmen ergriffen, um die Qualität der Eingabedaten für das KI-System kontinuierlich zu bewerten?
Können Sie zurückverfolgen, welche Daten vom KI-System verwendet wurden, um eine bestimmte Entscheidung(en) oder Empfehlung(en) zu treffen?
Können Sie zurückverfolgen, welches KI-Modell oder welche Regeln zu der/den Entscheidung(en) oder Empfehlung(en) des KI-Systems führten?
Haben Sie Maßnahmen ergriffen, um die Qualität der Ergebnisse des KI-Systems kontinuierlich bewerten zu können?
Haben Sie angemessene Protokollierungsverfahren eingeführt, um die Entscheidung(en) oder Empfehlung(en) des KI-Systems aufzuzeichnen?
Haben Sie den Nutzern die Entscheidungsprinzipien des KI-Systems erklärt?
Befragen Sie die Nutzer kontinuierlich, ob sie die Entscheidung(en) des KI-Systems verstehen?
Sind die Entscheidungen des KI-Systems für die Nutzer nachvollziehbar gemacht worden?
Sind die verwendeten Interpretierbarkeitsmethoden an sich interpretierbar, stabil, robust und verlässlich?
Wurden bei der Algorithmenauswahl die Genauigkeit des Algorithmus und die Interpretierbarkeit des Algorithmus abgewogen?
Wurde die Wirkungsweise des Gesamtsystems erklärbar gemacht oder ist das System inhärent erklärbar?
Ist eine Manipulation des Systems (z.B. Gaming) z.B. aufgrund transparenter Regeln hinreichend ausgeschlossen? Haben sie Verfahren eingeführt, um die Manipulation des Systems zu überprüfen und zu verhindern? Wenn ja, welche?
Haben Sie Mechanismen eingerichtet, um die Nutzer über den Zweck, die Eigenschaften und Grenzen der vom KI-System generierten Entscheidung(en) zu informieren?
Haben Sie den Nutzern die Vorteile des KI-Systems vermittelt?
Haben Sie den Nutzern die technischen Grenzen und potenziellen Risiken des KI-Systems kommuniziert, wie z. B. den Grad der Genauigkeit und/oder die Fehlerquote?
Haben Sie den Nutzer:innen geeignetes Schulungsmaterial und Haftungsausschlüsse zur Verfügung gestellt, wie sie das KI-System angemessen nutzen können?
Verifizierung und Validierung - Wie ist die Qualitätssicherung, Reliabilität und Konsistenz der Ergebnisse des Systems gewährleistet?
Genauigkeit. Präzision bezieht sich auf die Fähigkeit eines KI-Systems, Sachverhalte richtig zu beurteilen, z. B. das richtige Einordnen von Informationen in bestimmte Kategorien oder das Treffen richtiger Vorhersagen, Empfehlungen oder Entscheidungen auf der Grundlage von Daten oder Modellen. Ein expliziter und gut ausgestalteter Entwicklungs- und Bewertungsprozess kann unerwünschte Risiken, die sich aus falschen Vorhersagen ergeben, abwenden und korrigieren. Wenn sich gelegentliche ungenaue Vorhersagen nicht vermeiden lassen, sollte das System unbedingt anzeigen können, mit welcher Wahrscheinlichkeit es zu Fehlern kommt. Ein hohes Maß an Präzision ist insbesondere dann unerlässlich, wenn sich KI-Systeme direkt auf das Leben von Menschen auswirken.
Zuverlässigkeit und Reproduzierbarkeit. Es ist unbedingt erforderlich, dass die von KI-Systemen erzeugten Ergebnisse gleichermaßen reproduzierbar und zuverlässig sind. Ein System ist dann zuverlässig, wenn es mit einer Reihe von Eingaben und in verschiedenen Situationen einwandfrei funktioniert. Dies ist erforderlich, um ein KI-System zu überprüfen und unerwünschte Schäden zu vermeiden. Wiederholbarkeit beschreibt, ob ein KI-Experiment das gleiche Verhalten aufweist, wenn es unter gleichen Bedingungen wiederholt wird. Auf diese Weise können Wissenschaftler:innen und politische Entscheidungsträger genau beschreiben, was KI-Systeme tun.
Haben Sie eine Dokumentation eingeführt (z. B. Protokollierung), um verschiedene Aspekte der Zuverlässigkeit und Reproduzierbarkeit des KI-Systems zu bewerten und sicherzustellen?
Haben Sie die Prozesse zur Prüfung und Verifizierung der Zuverlässigkeit und Reproduzierbarkeit des KI-Systems eindeutig dokumentiert und operationalisiert?
Werden Validierungsmethoden genutzt, um zu überprüfen, ob die eingesetzen Regeln richtig sind? (Sind die Regeln richtig gebaut? Tut das System, was es soll?)
Ist die Testabdeckung der KI-Systeme ausreichend und wird diese regelmäßig durchgeführt? Werden die Testfälle regemäßig auf Relevanz überprüft und aktualisiert?
Werden richtige Faktoren für die Vorhersage genutzt?
Reliabilität, Deterministischer Output: Wie sicher ist es, dass bei gleichem Input der gleiche Output kommt?
Haben Sie Verifizierungsmethoden eingeführt? (Entsprechen die Regeln den Anforderungen?)
Offenheit über Diskriminierungen: Enthalten die Regeln implizite als auch explizite Diskriminierungen und wie werden diese bewertet?
Wie genau ist die Vorhersage von dem trainierten Modell auf den Daten für verschiedene Personengruppen?
Wie zuversichtlich ist das Modell in den Vorhersagen für einzelne Personengruppen im Durchschnitt?
Ist für alle Personengruppen die Wahrscheinlichkeit gleich, richtig in die „positive“ Gruppe klassifiziert zu werden (Eng. True Positive Rate)?
Ist für alle Personengruppen die Wahrscheinlichkeit gleich, fälschlicherweise in die „positive“ Gruppe klassifiziert zu werden (Eng. False Positive Rate)?
Ist demographische Parität (eng. demographic parity) gegeben, d.h. gibt es keine Korrelation zwischen der Zugehörigkeit zu der geschützten Klasse und dem Endergebnis; die Wahrscheinlichkeit der Zuweisung der „1“ ist gleich für alle?
Wurde die Konfidenz des Modells in den Vorhersagen für einzelne Personengruppen im Durchschnitt analysiert?
Ist das Ergebnis immer gleich für ähnliche Individuen?
Könnte das KI-System kritische, nachteilige oder schädliche Folgen verursachen, wenn die Zuverlässigkeit und/oder Reproduzierbarkeit gering ist?
Haben Sie ein genau definiertes Verfahren eingeführt, um zu überwachen, ob das KI-System die beabsichtigten Ziele erreicht?
Haben Sie geprüft, ob bestimmte Kontexte oder Bedingungen berücksichtigt werden müssen, um die Reproduzierbarkeit zu gewährleisten?
Haben Sie das KI-System für bestimmte Zielgruppen oder problematische Anwendungsfälle getestet?
Haben Sie Mechanismen eingerichtet, die die Überprüfbarkeit des KI-Systems erleichtern (z.B. im Hinblick auf die Nachvollziehbarkeit des Entwicklungsprozesses, der Beschaffung von Trainingsdaten und der Protokollierung der Prozesse, Ergebnisse, positiven und negativen Auswirkungen des KI-Systems)?
Haben Sie sichergestellt, dass das KI-System von unabhängigen Dritten geprüft werden kann?
Architektur
Modellierung - Wie ist die Software modelliert?
Bildet das Modell korrekt die reale Problemstellung ab? Welche alternativen Modelle sind verworfen wurden, und warum?
Welche Modellierungsentscheidungen werden oder wurden bei der Entwicklung der Software getroffen, und aufgrund von welchen Annahmen?
Wie wird die situative Problemstellung in einer Software-Architektur und Klassenhierarchie modelliert?
Welche Annahmen fließen durch die Modelleriung in die Software implizit mit ein, die sich nicht direkt auf Regeln oder Daten beziehen?
Sind einfacherer oder komplexere Modelle getestet wurden? Mit welchem Ergebnis?
Wie können die impliziten Ziele bei der Optimierung eines Softwaresystems expliziert werden?
Welche möglichen Zielkonflikte kann es bei der Modelleriung und Optimierung des Sofwaresystems geben? Wie wird damit umgegangen?
Gibt es eine Zielhierarchie für das System? Hinsichtlich welcher Zielvariablen und Metriken soll das System optimiert werden?
Haben Sie untersucht, ob der Betrieb des KI-Systems die Daten oder Annahmen, auf denen es trainiert wurde, ungültig machen kann und wie dies zu nachteiligen Auswirkungen führen könnte?
Haben Sie ein geeignetes Verfahren für den Umgang mit Fällen eingeführt, in denen das KI-System Ergebnisse mit einem niedrigen Konfidenzniveau liefert?
Verwendet Ihr KI-System (online) kontinuierliches Lernen?
Haben Sie mögliche negative Folgen bedacht, wenn das KI-System neuartige oder ungewöhnliche Methoden erlernt, um bei seiner Zielfunktion gut abzuschneiden?
Wurden die Modellierungsentscheidungen, die bei der Entwicklung der Software getroffen wurden, dokumentiert, und die ihnen zugrundeliegenden Annahmen expliziert und auf Fairness geprüft?
Wurde überprüft wie das KI-System oder dessen Architektur und Algorithmen soziale Konzepte als Qualitätsmaß messbar gemacht?
Haben Sie öffentlich verfügbare technische Tools recherchiert und verwendet, die auf dem neusten Stand der Technik sind, um Ihr Verständnis der Daten, des Modells und der Leistung zu verbessern?
Haben Sie Aufklärungs- und Sensibilisierungsinitiativen ergriffen, um KI-Designern und KI-Entwicklern zu helfen, sich der möglichen Voreingenommenheit bewusst zu sein, die sie bei der Gestaltung und Entwicklung des KI-Systems einbringen können?
Haben Sie für einen Mechanismus gesorgt, mit dem Probleme im Zusammenhang mit Voreingenommenheit, Diskriminierung oder schlechter Leistung des KI-Systems gemeldet werden können?
Haben Sie klare Schritte und Kommunikationswege festgelegt, wie und an wen wie und bei wem solche Probleme angesprochen werden können?
Haben Sie die Personen identifiziert, die potenziell (in)direkt vom KI-System betroffen sein könnten, zusätzlich zu den (End-)Nutzern und/oder Probanden?
Haben sie diese Betroffenen als Stakeholder in die Entwicklung des Systems mit einbezogen?
Gibt es Feedbackmöglichkeiten wie Whistleblower-Hotlines hinsichtlich der Nutzung der Systems?
Ist Ihre Definition von Fairness in jeder Phase des Prozesses der Einrichtung des KI-Systems eingebettet?
Haben Sie andere Definitionen von Fairness in Betracht gezogen, bevor Sie sich für ihre eigene entschieden haben? Wie hat sich ihre Definition durchgesetzt?
Haben Sie die betroffenen Gemeinschaften über die richtige Definition von Fairness konsultiert, z. B. mit Vertretern älterer Menschen oder von Menschen mit Behinderungen?
Haben Sie eine quantitative Analyse oder Metriken zur Messung und Prüfung der angewandten Definition von Fairness durchgeführt?
Haben Sie Mechanismen eingerichtet, um Fairness in Ihrem AI-System zu gewährleisten?
Haben Sie sichergestellt, dass das KI-System der Vielfalt der Vorlieben und Fähigkeiten in der Gesellschaft entspricht?
Haben Sie geprüft, ob die Benutzeroberfläche des KI-Systems für Menschen mit besonderen Bedürfnissen oder Behinderungen oder von Ausgrenzung bedrohten Personen nutzbar ist?
Haben Sie sichergestellt, dass die Informationen über das KI-System und die Benutzeroberfläche des KI-Systems auch für Nutzer von Hilfstechnologien (z. B. Bildschirmleser) zugänglich und nutzbar sind?
Haben Sie während der Planungs- und Entwicklungsphase des KI-Systems Endnutzer oder Personen, die Hilfsmittel benötigen, einbezogen oder konsultiert?
Haben Sie sichergestellt, dass die Grundsätze des Universellen Designs bei jedem Schritt des Planungs- und Entwicklungsprozesses berücksichtigt wurden, sofern zutreffend?
Haben Sie die Auswirkungen des KI-Systems auf die potenziellen Endnutzer und/oder Probanden in Betracht gezogen?
Haben Sie beurteilt, ob sich das an der Entwicklung des KI-Systems beteiligte Team mit den möglichen Endnutzern und/oder Probanden befasst hat?
Haben Sie bewertet, ob es Gruppen geben könnte, die unverhältnismäßig stark von den Ergebnissen des KI-Systems betroffen sein könnten?
Haben Sie das Risiko der möglichen Ungerechtigkeit des Systems gegenüber den Gemeinschaften der Endnutzer oder Probanden erfasst?
Haben Sie einen Mechanismus in Betracht gezogen, der die Beteiligung eines möglichst breiten Spektrums von Interessengruppen an der Gestaltung und Entwicklung des KI-Systems umfasst?
Human-in-the-Loop-Komponenten - An welchen Stellen der Software sind Menschen aktiv?
KI-Systeme sollten die menschliche Autonomie und Entscheidungsfindung unterstützen. Dies erfordert, dass KI-Systeme sowohl einer demokratischen, gerechten Gesellschaft dienen, indem sie das menschliche Handeln und die Wahrung der Grundrechte fördern, als auch die menschliche Aufsicht ermöglichen.
Grundrechte. Bei risikobehafteten KI-Anwendungen sollte eine Folgenabschätzung der Auswirkungen auf die Grundrechte vorgenommen werden. Diese Maßnahme sollte vor der Entwicklung eines solchen Systems stehen und eine Beurteilung darüber enthalten, ob sich diese Risiken verringern lassen bzw. ob sie als in einer demokratischen Gesellschaft notwendig gerechtfertigt sind, da auch die Rechte und Freiheiten Dritter zur respektieren sind. Des Weiteren sollten Mechanismen zur Entgegennahme externer Rückmeldungen über möglicherweise Grundrechte beeinträchtigende KI-Systeme eingerichtet werden.
Vorrang menschlichen Handelns. Die Benutzer sollten in der Lage sein, informierte Entscheidungen in Bezug auf KI-Systeme zu treffen. Ihnen sollte das notwendige Wissen und die Mittel zur Verfügung gestellt werden, um die KI-Systeme hinreichend zu verstehen und mit ihnen interagieren zu können, und sie sollten möglichst in die Lage versetzt werden, das System angemessen bewerten oder sich ihm entgegenstellen zu können. Entscheidend ist in diesem Zusammenhang der Grundsatz der Selbstbestimmung des Nutzers. Das Recht einer Person, nicht ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
Menschliche Aufsicht. Die menschliche Aufsicht hilft, dafür zu sorgen, dass ein KI-System die menschliche Autonomie nicht untergräbt oder sich sonst nachteilig auswirkt. Die Aufsicht kann durch folgende Lenkungs- und Kontrollmechanismen erreicht werden. „Human-in-the-Loop“ (HITL) bezieht sich auf die Fähigkeit des Menschen, in jeden Entscheidungszyklus des Systems einzugreifen, was in vielen Fällen weder möglich noch wünschenswert wäre. „Human-on-the-Loop“ (HOTL) bedeutet die Möglichkeit des Menschen, in den Entwurfszyklus des Systems einzugreifen und den Systembetrieb zu überwachen. „Human-in-Command“ (HIC) bedeutet die Möglichkeit, den Gesamtbetrieb des KI-Systems (einschließlich seiner weiteren wirtschaftlichen, gesellschaftlichen, rechtlichen und ethischen Auswirkungen) zu beaufsichtigen, sowie die Fähigkeit zu entscheiden, wann, wie und ob das System in einer bestimmten Situation mit welcher Eingriffstiefe eingesetzt werden soll und wie nachhaltig die vom System getroffenen Entscheidungen wirken und widerrufen werden können.
Bitte bestimmen Sie, ob das KI-System (Mehrfachauswahl):
ein selbstlernendes oder autonomes System ist;
von einem Human-in-the-Loop beaufsichtigt wird;
von einem "Human-on-the-Loop" beaufsichtigt wird;
von einem "Human-in-Command" beaufsichtigt wird.
Wo im System sind bei Entwicklung und Betrieb menschliche Entscheidungen beteiligt? Wie und mit welchen Annahmen werden sie getroffen? Wer ist faktisch an den Entscheidungen beteiligt und wer hat Einfluss darauf? Wie transparent sind diese?
Wurden die Menschen (Human-in-the-Loop, Human-on-the-Loop, Human-in-Command) speziell darin geschult, wie sie die Aufsicht ausüben können?
Haben Sie Erkennungs- und Reaktionsmechanismen für unerwünschte negative Auswirkungen des KI-Systems auf die von dem System Betroffenen eingerichtet?
Haben Sie dafür gesorgt, dass es eine "Stopptaste" oder ein Verfahren gibt, um einen Vorgang bei Bedarf sicher abzubrechen?
Haben Sie besondere Überwachungs- und Kontrollmaßnahmen ergriffen, um der selbstlernenden oder autonomen Natur des KI-Systems Rechnung zu tragen?
Liefert der Mensch Input, durch den das System verzerrt werden könnte?
Sind Menschen bei Labeling, Validierung, in Feedbackschleifen oder an anderen Stellen der Software tätig und werden potentielle Auswirkungen überwacht?
Trifft der Mensch die letzte Entscheidung bei der Nutzung des KI-Systems?
Werden die menschlichen Inputs transparent bzw. öffentlich gemacht?
Wird es für Betroffene transparent gemacht, dass sie mit einem KI-System interagieren?
Haben Sie Prozesse zur Prüfung und Überwachung potenzieller Verzerrungen während des gesamten Lebenszyklus des KI-Systems implementiert, z. B. Verzerrungen aufgrund möglicher Beschränkungen, die sich aus der Zusammensetzung der verwendeten Datensätze ergeben (mangelnde Vielfalt, Nicht-Repräsentativität)?
Haben Sie ein Verfahren für Dritte (z. B. Lieferanten, Endnutzer, Probanden, Vertreiber/Anbieter oder Arbeitnehmer), um potenzielle Schwachstellen, Risiken oder Verzerrungen im dem KI-System melden können?
Nutzung von Fremdkomponenten - Welche Fremdkomponenten sind in die Software integriert?
Welche Fremdkomponenten werden verwendet?
Wie sind die Fremdkomponenten an das restliche KI System angebunden?
Sind analog zu den Stellschrauben beim Gesamtsystem auch die Fremdkomponenten transparent, zieldienlich, verständlich und gerecht?
Datensicherheit & Zugriffsschutz - Welche Vorkehrungen zum Schutz der Daten wurden getroffen?
Welche Stellen des Systems sind anfällig für Eingriffe?
Wo sind gefährliche Schnittstellen?
Ist das Berechtigungskonzept so aufgebaut, dass eindeutig festgelegt werden kann, wer was sehen darf? Wie werden diese Berechtigungen vergeben?
Sind Data in Transit und persistierte Daten z.B. via Customer-Key-Management verschlüsselt?
Ist Norm DIN EN ISO/IEC 27001 erfüllt?
Wurde abgeschätzt wer unter besonderen Bedingungen darüberhinaus Daten potentiell einsehen kann?
Verarbeitungsort & Datenfluss - Wo werden die Daten verarbeitet und von wo nach wo fließen die Daten?
Wohin werden Daten geschickt?
Wer kann Daten potentiell einsehen?
Wo werden die Daten verarbeitet (on premises/in the cloud)?
Ist die Datenmigration und der externe Datenfluss so klein wie möglich gehalten?
Einstiegs-/Ausstiegsoptionen & Alternativprozesse - Welche Ausstiegsoptionen haben Betroffene aus der Software?
Können die Nutzer oder das ganze Unternehmen das System einfach verlassen und dabei ihre Daten vollständig und mit wenig Aufwand mitnehmen und woanders hin migrieren?
Wie sehr werden neutrale Austauschformate unterstützt?
Mit welchen Maßnahmen wird ein Lock-In-Effekt aktiv verhindert?
Ist die Zustimmung der Betroffenen zur Nutzung des Systems freiwillig oder erfolgt es z.B: aus einem Arbeitsverhältnis heraus?
Sind Alternativprozesse evaluiert worden, die einen höheren Schutz der Privatsphäre und Datenschutz bieten?
Haben individuelle Endnutzer Eingriff-Optionen?
Last updated