Grundlegende Problemstellung und Zielsetzung

Allgemein:

Immer mehr Unternehmen setzen ML-Verfahren ein, um Vorhersagen zu treffen und Prozesse zu automatisieren. Durch ihren Black-Box Charakter sind viele Verfahren des maschinellen Lernens jedoch nicht ad-hoc interpretierbar. D.h., die Gründe, aus denen eine bestimmte Vorhersage getroffen wird, bleiben dem Anwender verborgen.

Problem:

Die fehlende Nachvollziehbarkeit automatisierter Entscheidungen macht es schwer, zu erkennen, ob sich ein ML-Systeme verhält, wie beabsichtigt, oder ob es Probleme wie z.B. mangelnde Fairness gibt. Zudem räumt die EU-Datenschutzverordnung jedem Menschen das Recht auf Erklärung automatisierter Entscheidungen ein.

Ziel:

Die Entwicklung und Testung von Erklär-Verfahren zur Generierung kontrafaktischer Erklärungen für ML-Modelle. Kontrafaktische Erklärungen sind post-hoc Erklärungen, die anzeigen, was in der Vergangenheit anders hätte sein müssen, um den aktuellen Ist-Zustand zu verändern.

Keywords / Stichworte:

Kognitives Qualitätsmanagement; Interpretierbarkeit von Modellen

Technisches System

Mithilfe der CEML-Toolbox[1] werden kontrafaktische Erklärungen zu Entscheidungen eines ML-Modellen generiert. Das Modell ist ein Entscheidungsbaum-Klassifikator, der auf Daten zur Kreditwürdigkeit von Bankkund:Innen[2] trainiert wurde.

Welche Daten werden erhoben?

Der Datensatz enthält Informationen zur Kreditwürdigkeit von Bankkunden, zusammen mit Attributen wie

Kreditlänge (Monate)
Kreditvolumen (€)
Rückzahlungsrate (% des verfügbaren Einkommens)
Alter des:r Antragsteller:In
Anzahl der bereits laufenden Kredite bei der aktuellen Bank
…

Lösungsansatz

ML-Methode:

Die grundlegende Idee von kontrafaktischen Erklärungen für ML-Modelle besteht darin, ausgehend von einem gegebenen Datenpunkt einen neuen Datenpunkt zu suchen, der die Entscheidung des Modells in gewünschter Weise ändert. Klassische Ansätze verlangen dabei, dass diese neue Datenpunkt dabei möglichst nahe am ursprünglichen Datenpunkt liegt [3]. Dieser neue Datenpunkt dient dann als Erklärung für die vorangegangene Entscheidung.

Beispiel:

Sören Sorglos ist

35 Jahre alt
hat bereits 2 laufende Kredite bei seiner Bank

Nun bewirbt es sich auf einen neuen Kredit:

über 8858 €
mit einer Laufzeit von 48 Monaten
und einer Rückzahlungsrate von 2% seines verfügbaren Einkommens

Das ML-Modell entscheidet, dass Sören Sorglos damit nicht kreditwürdig ist.
Die berechnete kontrafaktischen Erklärungen zeigt, dass sich die Anzahl bereits laufender Kredite von 2 auf 1 verringern müsste, damit sich diese Entscheidung ändert.

Hätte Sören Sorglos also nicht schon zwei laufende Kredite bei dieser Bank, würde er als kreditwürdig gelten.

Referenzen

[1] Artelt, A. (2019). CEML-Counterfactuals for Explaining Machine Learning models-A Python toolbox.
[2] Hofmann, H. (1994). Statlog (German Credit Data) Data Set. UCI Repository of Machine Learning Databases. Retrieved from https://archive.ics.uci.edu/ml/datasets/statlog+(german+credit+data)
[3] Wachter, S., Mittelstadt, B., & Russell, C. (2017). Counterfactual explanations without opening the black box: Automated decisions and the GDPR. Harv. JL & Tech., 31, 841.

Beispielimplementation

Hier geht es direkt zur Beispielimplementation dieser Lösung.

Präsentationen und Publikationen

Kuhl, U. (2021). Hä? Von verwirrten Saugrobotern, enttäuschten Bankkunden, und erklärbarer künstlicher Intelligenz. Video-Talk im Zuge des ITS.ML KI-Slam “Getting AI-ready” am 29.11.2021.