Projektpartner
Grundlegende Problemstellung und Zielsetzung
Allgemein:
Viele praktische KI-Systeme sind mit Kameras ausgestattet und treffen Entscheidungen auf der Grundlage von Bildklassifikationen. Falsche Vorhersagen können dabei weitreichende Folgen haben. Ein Lernverfahren sollte daher in der Lage sein, die Unsicherheit einer Vorhersage einzuschätzen und entsprechend zu reagieren, z. B. durch die Abgabe der Kontrolle an den menschlichen Nutzer/Experten oder die gezielte Akquise zusätzlicher Daten.
Problem:
Die Bildklassifikation (beispielsweise im Kontext des autonomen Fahrens) ist häufig mit Unsicherheit behaftet, so dass Vorhersagen nicht immer vertrauenswürdig sind.
Ziel:
Die Bildklassifikation (speziell im Kontext des autonomen Fahrens) soll durch die Repräsentation aleatorischer und epistemischer Unsicherheit erweitert werden.
Keywords / Stichworte: Interpretierbarkeit von Modellen
Technisches System
Die ML-Lösung wurde entwickelt auf Grundlage von Benchmarks, simulierten Daten, sowie Daten, die durch einen industriellen Kooperationspartner erzeugt wurden.
Welche Sensoren sind in der Technologie integriert?
- Kamera im Innenraum eines PKW zur Fahrerüberwachung.
Welche Daten werden erhoben?
- Bilder des Fahrers bzw. der Fahrerin in Form einer Videosequenz.
- Die verwendeten Daten wurden im Rahmen von Testfahrten eines Autoherstellers erhoben und sind nicht frei verfügbar. Zusätzlich wurden Benchmarkdaten (UCI Machine Learning Reposirory) verwendet, die allesamt frei verfügbar sind.
Lösungsansatz
ML-Methode:
Die ML-Lösung wurde auf der Grundlage so genannter Ensemble-Methoden entwickelt. Dabei werden statt eines einzelnen (prädiktiven) Modells, wie beispielsweise ein Entscheidungsbaum oder ein neuronales Netz, eine Menge solcher Modelle trainiert, z.B. ein Random Forest oder ein Ensemble neuronaler Netze. Jedes dieser Modelle ist in der Lage, eine neue Anfrageinstanz probabilistisch zu klassifizieren, also Aussagen über die aleatorische Unsicherheit zu machen. Die grundlegende Idee besteht darin, dass sich der epistemische Anteil der Unsicherheit in der „Diversität“ der einzelnen Vorhersagen manifestiert.
Diese Idee wurde unter Verwendung informationstheoretischer Konzepte formal ausgearbeitet, um konkrete numerische Maße der aleatorischen und epistemischen Unsicherheit berechnen zu können. Unterschiedliche Formen von Entropiemaßen spielen hierbei eine wichtige Rolle. Alternativ wurden Konzepte basierend auf verallgemeinerten Unsicherheitskalkülen zur Quantifizierung von Unsicherheit verwendet.
Nach welchen allgemeinen inhaltlichen Kriterien werden Entscheidungen getroffen? Wie ist deren Gewichtung?
Die Güte quantifizierter Unsicherheiten lässt sich nicht einfach bestimmen, vor allem mangels einer (beobachtbaren) „Wahrheit“, also einem korrekten Maß an Unsicherheit. Vorhersagen über die Unsicherheit wurden daher indirekt evaluiert, indem sie für eine bestimmte Aufgabe, wie beispielsweise die Enthaltung (Verweigern einer Vorhersage) eingesetzt wurden. Eine wichtige Anwendung ist das aktive Lernen, wo es darum geht, aus einem gegebenen Pool von Instanzen möglichst solche Trainingsbeispiele zu wählen, die für das Lernverfahren besonders informativ sind und zu signifikanten Verbesserungen führen.
Beispielimplementation
Hier geht es direkt zur Beispielimplementation dieser Lösung.
Präsentationen und Publikationen
Nguyen, V. L., Shaker, M. H., & Hüllermeier, E. (2022). How to measure uncertainty in uncertainty sampling for active learning. Machine Learning, 111(1), 89-122.
Hüllermeier. Aleatoric and Epistemic Uncertainty in Machine Learning: An Ensemble-based Approach. Seminar on Uncertainty Quantification (UQ), Design and Analysis of Computer Experiments, University Paris-Saclay, November 2020.
Hüllermeier. Aleatoric and Epistemic Uncertainty in Machine Learning. German Data Science Days, Munich, Germany, 2021.
Shaker, M. H., & Hüllermeier, E. (2020, April). Aleatoric and epistemic uncertainty with random forests. In International Symposium on Intelligent Data Analysis (pp. 444-456). Springer, Cham.
Ansprechpartner
Prof. Eyke Hüllermeier
Email
Wissenschaftlicher Partner des Software Innovation Lab der Universität Paderborn
SICP – Software Innovation Campus Paderborn
https://www.sicp.de/
LMU München