Geschlechtsspezifische Voreingenommenheit bei der Kreditwürdigkeits-KI?
In den letzten Wochen haben eine Reihe von Apple Card-Nutzern in den USA berichtet, dass ihnen und ihren Partnern trotz des gleichen Einkommens und der gleichen Kreditwürdigkeit sehr unterschiedliche Kreditlimits auf der gebrandeten Kreditkarte zugewiesen wurden (vgl BBC-Artikel). Steve Wozniak, ein Mitbegründer von Apple, twitterte, dass sein Kreditlimit auf der Karte zehnmal höher sei als das seiner Frau, obwohl das Paar auf allen anderen Karten dasselbe Kreditlimit hatte.
Das Department of Financial Services in New York, eine Aufsichtsbehörde für Finanzdienstleistungen, untersucht Vorwürfe, dass das Geschlecht der Benutzer die Grundlage für die Ungleichheit sein könnte. Apple weist darauf hin, dass Goldman Sachs für den Algorithmus verantwortlich ist, was scheinbar im Widerspruch zu Apples Marketing-Slogan „Created by Apple, not a Bank“ steht.
Da die Untersuchung der Aufsichtsbehörde noch andauert und noch keine Befangenheit nachgewiesen wurde, schreibe ich in diesem Artikel nur hypothetisch.
Voreingenommenheit in der im Justizsystem verwendeten KI
Die Geschichte von Apple Card ist nicht das einzige aktuelle Beispiel für algorithmische Voreingenommenheit, die Schlagzeilen macht. Im Juli letzten Jahres unterzeichnete die NAACP (National Association for the Advancement of Colored People) in den USA eine Erklärung, in der sie ein Moratorium für die Verwendung automatisierter Entscheidungsfindungsinstrumente forderte, da einige von ihnen nachweislich rassistisch voreingenommen sind, wenn sie zur Vorhersage verwendet werden Rückfall – mit anderen Worten, wie wahrscheinlich es ist, dass ein Straftäter erneut straffällig wird.
Im Jahr 2013 wurde Eric Loomis zu sechs Jahren Gefängnis verurteilt, nachdem der Bundesstaat Wisconsin ein Programm namens COMPAS verwendet hatte, um seine Wahrscheinlichkeit, ein weiteres Verbrechen zu begehen, zu berechnen. COMPAS ist ein proprietärer Algorithmus, dessen Innenleben nur seinem Anbieter Equivant bekannt ist. Loomis versuchte, die Verwendung des Algorithmus vor dem Obersten Gerichtshof von Wisconsin anzufechten, aber seine Anfechtung wurde letztendlich abgelehnt.
Leider verschlechtern Vorfälle wie diese nur die weit verbreitete Wahrnehmung von KI als gefährliches Werkzeug, undurchsichtig, unterreguliert, das in der Lage ist, die schlimmsten Vorurteile der Gesellschaft zu verschlüsseln.
Wie kann eine KI voreingenommen, rassistisch oder voreingenommen sein? Was schief gelaufen ist?
Ich werde mich hier auf das Beispiel eines Kreditantrags konzentrieren, da es einfacher ist, ein Problem zu formulieren und zu analysieren, aber die Punkte, die ich mache, sind auf jede Art von Voreingenommenheit und geschützte Kategorie verallgemeinerbar.
Ich möchte zunächst darauf hinweisen, dass ich stark bezweifle, dass sich irgendjemand bei Apple oder Goldman Sachs hingesetzt und ein explizites Regelwerk erstellt hat, das das Geschlecht bei Kreditentscheidungen berücksichtigt.
Stellen wir uns zunächst vor, dass wir ein maschinelles Lernmodell erstellen, das die Wahrscheinlichkeit vorhersagt, dass eine Person mit einem Kredit in Verzug gerät. Es gibt eine Reihe von „geschützten Kategorien“, wie z. B. das Geschlecht, die wir nicht diskriminieren dürfen.
Die Entwicklung und Schulung einer Kreditentscheidungs-KI ist diese Art von Data-Science-Problem, das routinemäßig auf Kaggle (einer Website, auf der Sie an Data-Science-Wettbewerben teilnehmen können) auftaucht und nach dem angehende Data Scientists in Vorstellungsgesprächen gefragt werden können. Das Rezept für einen Roboter-Kreditsachbearbeiter lautet wie folgt:
Stellen Sie sich vor, Sie haben eine große Tabelle mit 10.000 Zeilen, alles über Kreditantragsteller, die Ihre Bank in der Vergangenheit gesehen hat:
| Alter | Einkommen | Kreditwürdigkeit | Geschlecht | Bildungsniveau | Anzahl Jahre beim Arbeitgeber | Berufsbezeichnung | sind sie in Verzug geraten? |
| 38 | 28000 | 460 | M | BSc | 2 | Krankenschwester | NEIN |
Die letzte Spalte ist das, was wir vorhersagen wollen.
Sie würden diese Daten nehmen und die Zeilen in drei Gruppen aufteilen, die als Trainingssatz, Validierungssatz und Testsatz bezeichnet werden.
Sie wählen dann einen maschinellen Lernalgorithmus aus, z. B. lineare Regression, Random Forest oder neuronale Netze, und lassen ihn aus den Trainingszeilen „lernen“, ohne dass er die Validierungszeilen sieht. Sie testen es dann auf dem Validierungsset. Sie spülen und wiederholen für verschiedene Algorithmen, optimieren die Algorithmen jedes Mal, und das Modell, das Sie schließlich bereitstellen, ist dasjenige, das in Ihren Validierungszeilen die höchste Punktzahl erzielt hat.
Wenn Sie fertig sind, können Sie Ihr Modell auf dem Testdatensatz testen und seine Leistung überprüfen.
Der Trugschluss, eine Spalte zu entfernen und zu erwarten, dass die Verzerrung aus der KI verschwindet
Wenn die Spalte „Geschlecht“ in den Trainingsdaten vorhanden war, besteht offensichtlich die Gefahr, dass ein voreingenommenes Modell erstellt wird.
Die Datenwissenschaftler von Apple/Goldman haben diese Spalte jedoch wahrscheinlich von Anfang an aus ihrem Datensatz entfernt.
Wie kann also der digitale Geldverleiher immer noch geschlechtsspezifisch sein? Unser Algorithmus kann doch sicher nicht sexistisch sein, oder? Schließlich kennt es nicht einmal das Geschlecht eines Bewerbers!
Leider und entgegen der Intuition ist es immer noch möglich, dass sich Vorurteile einschleichen!
Es könnte Informationen in unserem Datensatz geben, die a Proxy für Geschlecht. Zum Beispiel: Die Dauer der aktuellen Stelle, das Gehalt und insbesondere die Berufsbezeichnung könnten alle damit korrelieren, ob unser Bewerber männlich oder weiblich ist.
Wenn es möglich ist, ein maschinelles Lernmodell auf Ihrem bereinigten Datensatz zu trainieren, um das Geschlecht mit einem gewissen Grad an Genauigkeit vorherzusagen, laufen Sie Gefahr, dass Ihr Modell versehentlich geschlechtsspezifisch voreingenommen ist. Ihr Kreditvorhersagemodell könnte lernen, die impliziten Hinweise zum Geschlecht im Datensatz zu verwenden, auch wenn es das Geschlecht selbst nicht sehen kann.
Ein Manifest für unvoreingenommene KI
Ich möchte eine Ergänzung zum Workflow der KI-Entwicklung vorschlagen: Wir sollten unsere KI aus verschiedenen Blickwinkeln angreifen und versuchen, mögliche Vorurteile zu entdecken, bevor wir sie einsetzen.
Es reicht nicht aus, nur die geschützten Kategorien aus Ihrem Datensatz zu entfernen, sich die Hände abzustauben und „Job erledigt“ zu denken.
AI-Bias-Pen-Test
Wir müssen auch den Anwalt des Teufels spielen, wenn wir eine KI entwickeln, und anstatt nur zu versuchen, Ursachen von Vorurteilen zu beseitigen, sollten wir es versuchen Beweisen Sie das Vorhandensein von Vorurteilen.
Wenn Sie sich mit dem Bereich der Cybersicherheit auskennen, haben Sie sicher schon von dem Begriff a gehört Pentest oder Penetrationstest. Eine Person, die nicht an der Entwicklung Ihres Systems beteiligt war, möglicherweise ein externer Berater, versucht, Ihr System zu hacken, um Schwachstellen zu entdecken.
Ich schlage vor, dass wir uns vorstellen KI-Penetrationstests: eine Analogie zum Pen-Test zum Aufdecken und Eliminieren von AI-Bias:
Was ein KI-Penetrationstest beinhalten würde
Um eine KI auf Bias zu testen, würde entweder eine externe Person oder ein interner Datenwissenschaftler, der nicht an der Algorithmusentwicklung beteiligt war, versuchen, ein Vorhersagemodell zu erstellen, um die entfernten geschützten Kategorien zu rekonstruieren.
Um auf das Darlehensbeispiel zurückzukommen: Wenn Sie das Geschlecht aus Ihrem Datensatz entfernt haben, würde der Pentester sein Bestes geben, um ein Vorhersagemodell zu erstellen, um es zurückzusetzen. Vielleicht sollten Sie ihnen einen Bonus zahlen, wenn sie es schaffen, das Geschlecht einigermaßen genau zu rekonstruieren, was das Geld widerspiegelt, das Sie andernfalls für die Schadensbegrenzung ausgegeben hätten, wenn Sie unwissentlich ein sexistisches Kreditvorhersagemodell geliefert hätten.
Weitere KI-Bias-Stresstests
Zusätzlich zum obigen Pen-Test schlage ich die folgenden weiteren Überprüfungen vor:
- Segmentieren Sie die Daten nach Geschlechtern. Bewerten Sie die Genauigkeit des Modells für jedes Geschlecht.
- Identifizieren Sie jede Tendenz zur Über- oder Unterschätzung der Ausfallwahrscheinlichkeit für beide Geschlechter
- Identifizieren Sie Unterschiede in der Modellgenauigkeit nach Geschlecht.
Weitere Maßnahmen
Ich habe einige der offensichtlicheren Ursachen für KI-Voreingenommenheit nicht behandelt. Beispielsweise ist es möglich, dass die Trainingsdaten selbst verzerrt sind. Dies ist bei einigen der in der Strafjustiz verwendeten Algorithmen sehr wahrscheinlich.
Was tun, wenn Sie eine Voreingenommenheit entdeckt haben?
Nehmen wir an, Sie haben festgestellt, dass der von Ihnen trainierte Algorithmus tatsächlich einen Bias für eine geschützte Kategorie wie das Geschlecht aufweist. Ihre Möglichkeiten, dies abzumildern, sind:
- Wenn der Pentest gezeigt hat, dass ein anderer Eingabeparameter, wie z. B. die Berufsbezeichnung, als Proxy für das Geschlecht dient, können Sie ihn entfernen oder versuchen, die geschlechtsbezogenen Aspekte davon zu verschleiern oder die Daten weiter zu bereinigen, bis der Pentester dies tut kann das Geschlecht nicht rekonstruieren
- Sie können das Ergebnis des Pen-Tests zurückentwickeln, um Ihre Trainingsdaten künstlich zu morphen, bis das Geschlecht nicht mehr erkennbar ist.
- Sie können das Innenleben Ihres Modells manuell korrigieren, um die Verzerrung auszugleichen
- Sie können Ihre Trainingstabelle auf Verzerrungen überprüfen. Wenn Ihre KI aus voreingenommenen Daten lernt, können wir nicht erwarten, dass sie unvoreingenommen ist.
- Wenn Ihre Vorhersagen für Frauen weniger genau sind als für Männer, haben Sie wahrscheinlich z. B. mehr Trainingsdaten für Männer als für Frauen. In diesen Fällen können Sie die Datenerweiterung verwenden: Sie duplizieren jeden weiblichen Eintrag in Ihren Daten, bis Ihr Trainingsdatensatz ausgeglichen ist.
- Sie können sich auch Mühe geben, zusätzliche Trainingsdaten für unterrepräsentierte Kategorien zu sammeln.
- Sie können versuchen, Ihr Modell erklärbar zu machen und herauszufinden, wo sich die Voreingenommenheit einschleicht. Wenn Sie daran interessiert sind, näher auf die Erklärbarkeit von maschinellem Lernen einzugehen, lade ich Sie ein, auch meinen früheren Beitrag über zu lesen erklärbare KI.
Eine Nebensache … Voreingenommenheit bei der Rekrutierung?
Eine Anwendung dieses Ansatzes, die ich gerne weiter untersuchen würde, ist die Beseitigung von Vorurteilen, wenn Sie maschinelles Lernen für die Rekrutierung verwenden. Stellen Sie sich vor, Sie haben einen Algorithmus, der Lebensläufe mit Jobs abgleicht. Wenn es versehentlich Lücken in den Lebensläufen von Personen entdeckt, die dem Mutterschutz und damit dem Geschlecht entsprechen, laufen wir Gefahr, eine diskriminierende KI zu erhalten. Ich kann mir vorstellen, dass dies durch einige der oben genannten Vorschläge kompensiert werden könnte, z. B. durch Optimieren der Trainingsdaten und künstliches Entfernen dieser Art von Signal. Ich denke, dass der Pen-Test ein starkes Werkzeug für diese Herausforderung wäre.
Wie können Unternehmen das erneute Auftreten von Vorurteilen vermeiden?
Heutzutage sind sich große Unternehmen des viralen Potenzials schlechter PR bewusst. Wenn also der Apple Card-Algorithmus tatsächlich voreingenommen ist, bin ich überrascht, dass niemand den Algorithmus gründlicher überprüft hat, bevor er ausgeliefert wurde.
Eine je nach Geschlecht um den Faktor 10 unterschiedliche Kreditobergrenze ist ein grober Fehler.
Hätten die am Kreditalgorithmus beteiligten Datenwissenschaftler oder tatsächlich der vom Bundesstaat Wisconsin verwendete Algorithmus zur Vorhersage von Rückfällen meine obige Checkliste für Penetrations- und Stresstests ihrer Algorithmen befolgt, nehme ich an, dass sie das PR-Desaster erkannt hätten, bevor es eingetreten wäre Chance, Schlagzeilen zu machen.
Natürlich ist es leicht, im Nachhinein mit dem Finger zu zeigen, und das Feld der Datenwissenschaft in der Großindustrie steckt noch in den Kinderschuhen. Manche würden es einen Wilden Westen der Unterregulierung nennen.
Ich denke, wir können auch froh sein, dass einige konservative Branchen wie das Gesundheitswesen KI noch nicht für wichtige Entscheidungen eingeführt haben. Stellen Sie sich die Folgen vor, wenn sich herausstellt, dass ein Algorithmus zur Melanomanalyse oder ein Entscheidungsfindungsmodell für die Amniozentese eine rassistische Voreingenommenheit aufweist.
Aus diesem Grund würde ich großen Unternehmen, die Algorithmen in die Wildnis entlassen, um wichtige Entscheidungen zu treffen, dringend empfehlen, damit zu beginnen, ein Team von Datenwissenschaftlern auszusondern, deren Aufgabe nicht darin besteht, Algorithmen zu entwickeln, sondern sie Penetrations- und Belastungstests zu unterziehen.
Die Datenwissenschaftler, die die Modelle entwickeln, stehen unter zu großem Zeitdruck, um dies selbst tun zu können, und wie die Cybersicherheitsbranche durch jahrelange Erfahrung festgestellt hat, ist es manchmal am besten, eine externe Person den Advokaten des Teufels spielen zu lassen und zu versuchen, Ihr System zu knacken .
Verweise
- Bloomberg – Viraler Tweet über Apple Card führt zu Sonde von Goldman Sachs (2019)
- BBC - Apples "sexistische" Kreditkarte von US-Regulierungsbehörde untersucht (2019)
- Harvard Law Review – Staat gegen Loomis (2017)
Deutsch