Erstellen erklärbarer Modelle für maschinelles Lernen

Wie erklären wir, wie ein neuronales Netzwerk ein Bild erkennen kann?

Manchmal stoßen wir als Datenwissenschaftler auf Fälle, in denen wir ein Modell für maschinelles Lernen erstellen müssen, das keine Blackbox sein sollte, sondern transparente Entscheidungen treffen sollte, die für Menschen verständlich sind. Dies kann unserem Instinkt als Wissenschaftler und Ingenieure widersprechen, da wir ein möglichst genaues Modell erstellen möchten.

In meinem vorherigen Beitrag über Gesichtserkennungstechnologie habe ich einige ältere, von Hand entwickelte Technologien, die für Menschen leicht verständlich sind, wie z. B. Gesichtsmerkmalspunkte, mit modernen Gesichtserkennungsgeräten verglichen, die schwerer zu verstehen sind. Dies ist ein Beispiel für den Kompromiss zwischen Leistung und Interpretierbarkeit bzw. Erklärbarkeit.

Das Bedürfnis nach Erklärbarkeit

Stellen Sie sich vor, Sie haben einen Kreditantrag gestellt und der Algorithmus der Bank lehnt Sie ohne Begründung ab. Oder eine Versicherung macht Ihnen zum Zeitpunkt der Verlängerung ein ungewöhnlich hohes Angebot. Ein medizinischer Algorithmus kann entgegen dem besten Instinkt des Arztes, der das Programm verwendet, einen weiteren invasiven Test empfehlen.

Oder vielleicht vertraut der Manager des Unternehmens, für das Sie das Modell erstellen, nichts, was er oder sie nicht versteht, und hat eine Erklärung verlangt, warum Sie bestimmte Werte für bestimmte Kunden vorhergesagt haben.

All dies sind reale Beispiele, bei denen ein Datenwissenschaftler möglicherweise etwas Leistung gegen Erklärbarkeit eintauschen muss. In manchen Fällen ergibt sich die Wahl aus der Gesetzgebung. Beispielsweise geben einige Interpretationen der DSGVO einer Person ein „Recht auf Erklärung“ aller sie betreffenden algorithmischen Entscheidungen.

Wie können wir Modelle des maschinellen Lernens erklärbar machen?

Ein Ansatz besteht darin, stark undurchsichtige Modelle wie Random Forest oder Deep Neural Networks zugunsten linearerer Modelle zu vermeiden. Durch die Vereinfachung der Architektur erhalten Sie möglicherweise ein weniger leistungsstarkes Modell, der Genauigkeitsverlust kann jedoch vernachlässigbar sein. Manchmal kann man durch die Reduzierung der Parameter ein Modell erhalten, das robuster und weniger anfällig für Überanpassung ist. Möglicherweise können Sie ein komplexes Modell trainieren und es verwenden, um die Wichtigkeit von Merkmalen zu ermitteln, oder Sie können clevere Vorverarbeitungsschritte ergreifen, um Ihr Modell linear zu halten.

Ein Beispiel wäre, wenn Sie über ein Modell verfügen, um das Verkaufsvolumen basierend auf Produktpreis, Tag, Uhrzeit, Saison und anderen Faktoren vorherzusagen . Wenn Ihr Manager oder Kunde ein erklärbares Modell wünscht, können Sie Wochentage, Stunden und Monate in eine One-Hot-Kodierung umwandeln und diese als Eingaben für ein lineares Regressionsmodell verwenden.

Erklärbare Computer-Vision-Modelle

Die besten Modelle zur Bilderkennung und -klassifizierung sind derzeit Convolutional Neural Networks (CNNs). Aus menschlicher Sicht stellen sie jedoch ein Problem dar: Wie würden Sie vorgehen, wenn Sie die 10 Millionen Zahlen in einem CNN für einen Menschen verständlich machen möchten? Wenn Sie eine kurze Einführung in CNNs wünschen, lesen Sie bitte meinen vorherigen Beitrag zur Gesichtserkennung .

Sie können beginnen, indem Sie das Problem aufschlüsseln und sich ansehen, was die verschiedenen Ebenen tun. Wir wissen bereits, dass die erste Ebene in einem CNN normalerweise Kanten erkennt, spätere Ebenen durch Ecken und dann nach und nach immer komplexere Formen aktiviert werden.

Sie können eine Reihe von Bildern verschiedener Klassen aufnehmen und die Aktivierungen an verschiedenen Stellen betrachten. Wenn Sie beispielsweise eine Reihe von Hundebildern über ein CNN weiterleiten:

Hundebild soll über ein erklärbares CNN weitergeleitet werden. Bildnachweis: Zeiler & Fergus (2014) [1]

…in der vierten Schicht können Sie Muster wie dieses erkennen, bei denen das neuronale Netzwerk eindeutig beginnt, eine Art „Hundheit“ zu erkennen.

Die Aktivierungen eines neuronalen Netzwerks durch die 4. Schicht, die erklären, wie das neuronale Netzwerk etwas „Hündchen“ erkannt hat. Bildnachweis: Zeiler & Fergus (2014) [1]

Wenn wir noch einen Schritt weiter gehen, können wir verschiedene Teile des Bildes manipulieren und sehen, wie sich dies auf die Aktivierung des neuronalen Netzwerks in verschiedenen Phasen auswirkt. Durch Ausgrauen verschiedener Teile dieses Pommerschen können wir die Auswirkung auf Schicht 5 des neuronalen Netzwerks sehen und dann herausfinden, welche Teile des Originalbilds am lautesten „Pommern“ an das neuronale Netzwerk schreien.

Wenn Sie verschiedene Segmente eines Eingabebilds ausgrauen, können Sie sehen, welcher Teil des neuronalen Netzwerks von Schicht 5 betroffen ist. Dadurch wird das Modell allmählich erklärbarer. Bildnachweis: Zeiler & Fergus (2014) [1]

Wenn die Gesichtserkennung Ihres neuronalen Netzwerks nach hinten losgeht und einen Eindringling in Ihr Haus lässt, wäre es mit diesen Techniken möglich, das CNN zu deaktivieren, wenn Sie über die Eingabebilder verfügen, um herauszufinden, wo der Fehler aufgetreten ist. Leider würde es viel Zeit in Anspruch nehmen, tief in ein neuronales Netzwerk wie dieses einzudringen, daher bleibt noch viel zu tun, um neuronale Netzwerke besser erklärbar zu machen.

Erklärbarkeit durch Faltungs-Neuronales Netzwerk durch Maskierung von Teilen eines Hundebildes

Übergang zu linearen Modellen zur Erklärbarkeit

Stellen Sie sich vor, Sie haben ein Preiselastizitätsmodell trainiert, das eine Polynomregression 3. Ordnung verwendet. Aber Ihr Kunde benötigt etwas, das leichter zu verstehen ist. Sie möchten wissen, wie hoch der Umsatzanstieg für jeden zusätzlichen Penny ist, der vom Produktpreis gesenkt wird. Oder wie hoch ist der Preisverfall für jedes weitere Lebensjahr eines Fahrzeugs?

Um das verständlicher zu machen, können Sie ein paar Tricks ausprobieren. Beispielsweise können Sie Ihr Polynommodell in eine Reihe verbundener linearer Regressionsmodelle umwandeln. Dies sollte fast die gleiche Leistung bringen, könnte aber besser interpretierbar sein.

Traditionelle polynomiale Regression, die eine Kurve anpasst und den Autopreisverfall je nach Alter des Fahrzeugs zeigt

Aufteilen der Daten in Segmente und Anwenden einer linearen Regression auf jedes Segment. Dies ist nützlich, da es eine ungefähre Abschreibungsrate in verschiedenen Phasen anzeigt, was Vertriebsmitarbeitern für schnelle Berechnungen nützlich sein könnte.

Empfehlungsalgorithmen erklären

Empfehlungssysteme wie die Filmempfehlungen von Netflix sind bekanntermaßen schwer richtig umzusetzen und Benutzer sind oft verwirrt über das, was sie als seltsame Empfehlungen empfinden. Die Empfehlungen wurden in der Regel direkt oder indirekt aufgrund früherer Sendungen berechnet, die der Nutzer gesehen hat. Die einfachste Möglichkeit, ein Empfehlungssystem zu erklären, besteht also darin, eine Nachricht wie „Wir empfehlen Ihnen The Wire , weil Sie Breaking Bad gesehen haben“ anzuzeigen – was der Ansatz von Netflix ist.

Allgemeine Methode, anwendbar auf alle Modelle

Es wurden einige Anstrengungen unternommen, um eine Technik zu entwickeln, die ein maschinelles Lernmodell jeglicher Art, egal wie komplex, entmystifizieren und erklären kann.

Die Technik, die ich zur Untersuchung eines Faltungs-Neuronalen Netzwerks beschrieben habe, kann im Großen und Ganzen auf jede Art von Modell erweitert werden. Sie können versuchen, die Eingabe in ein Modell für maschinelles Lernen zu stören und dessen Reaktion auf Störungen in der Eingabe zu überwachen. Wenn Sie beispielsweise über ein Textklassifizierungsmodell verfügen, können Sie verschiedene Wörter im Dokument ändern oder entfernen und beobachten, was passiert.

Erklärbarkeitsbibliothek LIME

Eine Implementierung dieser Technik heißt LIME oder Local Interpretable Model-Agnostic Explanations [2]. LIME funktioniert, indem es eine Eingabe nimmt und Tausende von Duplikaten mit geringem Rauschen erstellt, diese doppelten Eingaben an das ML-Modell weiterleitet und die Ausgabewahrscheinlichkeiten vergleicht. Auf diese Weise ist es möglich, ein Modell zu untersuchen, das sonst eine Black Box wäre.

Probieren Sie LIME auf einem CNN-Textklassifikator aus

Ich habe LIME auf meinem Autorenidentifikationsmodell ausprobiert. Ich gab dem Modell einen Auszug aus einem von JK Rowlings Nicht-Harry-Potter-Romanen, in dem der Autor korrekt identifiziert wurde, und bat LIME um eine Erklärung der Entscheidung. Also hat LIME versucht, Wörter im Text zu ändern und überprüft, welche Änderungen die Wahrscheinlichkeit erhöhen oder verringern, dass JK Rowling den Text geschrieben hat.

LIME-Erklärung für einen Auszug aus „Der Kuckuck ruft“ von JK Rowling , für Vorhersagen, die von einem Stilometriemodell gemacht wurden, das auf einigen ihrer früheren Harry-Potter-Romane trainiert wurde

Die Erklärung des Stilometriemodells durch LIME ist interessant, da sie zeigt, wie das Modell den Autor anhand von Untersequenzen von Funktionswörtern wie „ und ich weiß nicht… “ (grün hervorgehoben) erkannt hat, und nicht anhand von Wörtern mit starkem Inhalt wie „ Polizei “.

Die von LIME bereitgestellten Erkenntnisse sind jedoch begrenzt, da LIME unter der Haube einzelne Wörter stört, während ein auf einem neuronalen Netzwerk basierender Textklassifizierer Muster im Dokument in größerem Maßstab untersucht.

Ich denke, dass für anspruchsvollere Textklassifizierungsmodelle noch einiges an LIME zu tun ist, damit es prägnanter erklären kann, welche Teilfolgen von Wörtern am informativsten sind, und nicht einzelne Wörter.

Kann LIME Bildklassifikatoren erklären?

Bei Bildern liefert LIME noch spannendere Ergebnisse. Sie können damit die Pixel in einem Bild hervorheben, die zu einer bestimmten Entscheidung geführt haben.

LIME hebt in Rosa die Teile von Gesichtsbildern hervor, die bestimmten Personen „aussehen“. Bildnachweis: Ribeiro, Singh, Guestrin (2016) [2]

Abschluss

Es gibt eine große Vielfalt an Modellen für maschinelles Lernen, die für unterschiedliche Zwecke verwendet und eingesetzt werden, und ihre Komplexität nimmt zu. Leider werden viele von ihnen immer noch als Blackboxen verwendet, was ein Problem darstellen kann, wenn es um Verantwortlichkeit, Branchenregulierung und das Vertrauen der Benutzer geht, wichtige Entscheidungen den Algorithmen als Ganzes anzuvertrauen.

Die einfachste Lösung besteht manchmal darin, Kompromisse einzugehen, beispielsweise bei der Handelsleistung zugunsten der Interpretierbarkeit. Die Vereinfachung von Modellen für maschinelles Lernen zum Zweck des menschlichen Verständnisses kann den Vorteil haben, dass Modelle robuster werden.

Glücklicherweise gab es einige Bemühungen, Erklärbarkeitsplattformen zu entwickeln, um Black-Box-Maschinenlernen transparenter zu machen. Ich habe in diesem Artikel mit LIME experimentiert, das modellunabhängig sein soll, aber es gibt auch andere Alternativen.

Hoffentlich wird die Regulierung mit der Zeit mit der Geschwindigkeit der Technologie Schritt halten und wir werden bessere Möglichkeiten sehen, interpretierbare Modelle zu erstellen, die die Leistung nicht beeinträchtigen.

Verweise

1. Zeiler MD, Fergus R. (2014) Visualisierung und Verständnis von Faltungsnetzwerken . In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (Hrsg.) Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, Band 8689. Springer, Cham
2. Ribeiro TM, Singh, S., Guestrin, C. (2016). " Warum sollte ich dir vertrauen? ”: Erklären der Vorhersagen jedes Klassifikators. 97-101. 10.18653/v1/N16-3020.