Grundlegende Problemstellung und Zielsetzung

Allgemein:

Zuverlässiges Objekttracking ist eine Herausforderung in diversen Anwendungsgebieten. Ein wichtiger Aspekt dieser Verlässlichkeit ist, dass das Tracking automatisch erkennt, wenn es zu ungenau wird. Dies ist besonders essenziell in medizinischen Anwendungen, da hier zu große Ungenauigkeiten oft kritische Folgen haben.

Problem:

Ein robotischer Arm, ausgestattet mit einem Projektor und einer 3-D Kamera, soll eine Schablone im Hüftknochen eines Patienten während einer Operation tracken. Diese Schablone gibt vor, welcher Teil des Knochens herausgeschnitten werden soll, um eine Kieferrekonstruktion für den Patienten zu ermöglichen. Das getrackte Objekt wird auf den Knochen projiziert, um dem Chirurgen einen Umriss zum Schneiden zu geben. Die verwendete Methode ist ein sogenanntes Tracking via Partikelfilter.

Teile des Hüftknochens können für eine Kieferrekonstruktion verwendet werden. Das Transplantat wird 3-D modelliert und kann in einem 3-D Bild der Hüfte getrackt werden.

Ziel:

Das Finden einer automatisierten Lösung, die erkennt, wenn das Tracking im Partikelfilter zu ungenau wird. Damit kann die Operation dann unterbrochen werden, bis das Tracking wieder genau genug ist. Insbesondere wollen wir, dass unsere Methode auch allgemein für Tracking via Partikelfilter Probleme in verschiedenen Anwendungsfeldern genutzt werden kann.

Keywords / Stichworte:

Lernende Assistenzsysteme; Lernen auf Datenströmen; Interpretierbarkeit von Modellen;

Technisches System

Die ML-Lösung wurde auf Grundlage von Tracking Daten aus einer Test OP entwickelt.

Welche Sensoren sind in der Technologie integriert?

Eine „structured light“ 3-D Kamera

Der robotische Arm benutzt eine 3-D Kamera um die Schablone im Tiefenbild zu tracken. Das Ergebnis des Trackings wird auf den Knochen projeziert und dient als Vorlage für den Chirurgen.

Welche Daten werden erhoben?

die Parameterkonfiguration des Partikelfilters
der interne Status des Partikelfilters
der Unterschied in Distanz und Orientierung des aktuellen Trackings zu einer ground truth

Wie werden die Daten behandelt?

Die Daten eines Tracking Durchlaufs werden per sliding window zu Datenpunkten zusammengefasst.
Basierend auf unterschiedlich strikten Definitionen, wann ein Track als verloren gilt, werden die Datenpunkte unterschiedlich gelabelt.

Lösungsansatz

ML-Methode:

Überwachte 2-Klassen Klassifizierung, überwachte Regression

Nach welchen allgemeinen inhaltlichen Kriterien werden Entscheidungen getroffen? Wie ist deren Gewichtung?

Entscheidungen werden hauptsächlich auf Grund des internen Status des Partikelfilters getroffen, aber auch basierend auf den gewählten Parametern.

Werden neue Merkmale erarbeitet, die nicht speziell erfasst werden (z.B. Kombination erhobener Merkmale)?

Der interne Status des Partikelfilters sind Merkmale die basierend auf den Partikeln und deren Gewichtung neu berechnet werden.

Nach welchen allgemeinen inhaltlichen Kriterien wird gelernt?

Die Klassifizierung lernt auf Grund von Labeln, die angeben, ob das Tracking als intakt oder verloren gilt. Diese Label sind abhängig davon, welchen Distanz- und Orientierungsunterschied wir tolerieren. Dementsprechend gibt es verschiedene trainierte Modelle, je nachdem wie tolerant unser System sein darf. Dies kann anwendungsspezifisch entschieden werden.

Die Regression lernt auf Grund des Distanz- und Orientierungsunterschiedes. Hier ist nur ein trainiertes Modell notwendig und wir können anwendungsspezifisch unsere Toleranz anhand des Outputs der Regression festlegen.

Präsentationen und Publikationen

Kummert, J., Schulz, A., Redick, T., Ayoub, N., Modabber, A., Abel, D., & Hammer, B. (2021). Efficient Reject Options for Particle Filter Object Tracking in Medical Applications. Sensors, 21(6), 2114.