Grundlegende Problemstellung und Zielsetzung
Allgemein: Thema ist die Detektion von spielrelevanten Events, rein auf Basis von Videoübertragungssequenzen. Interaktionsmuster zwischen Spieler und dem Ball werden gelernt, um Zeitstempel von relevanten Events zu extrahieren.
Problem: Manuelles Markieren von Events ist zeitaufwändig. Ein Spiel vollständig zu markieren erfordert oft 20 Stunden oder mehr.
Ziel: Automatisches erkennen von Sportevents, um irrelevante Szenen herauszufiltern.
Keywords / Stichworte: Datengetriebene Optimierung, Lernen auf Datenströmen, Interpretierbarkeit von Modellen, Lernen mit Vorwissen
Technisches System
Die Daten wurden durch die Firma matchmetrics GmbH bereitgestellt.
Welche Daten werden erhoben?
- Fußball Übertragungsvideos
- Fußball Event Daten (Zeitstempel, Event Typ, Spieler, Koordinate, etc…)
Lösungsansatz
ML-Methode:
Überwachtes Transferlernen: ein vortrainiertes Deep Residual Network mit 50 Layern (ResNet- 50) wurde mit einem Long Short-Term Memory (LSTM) kombiniert, um die Eventwahrscheinlichkeit jedes Frames zu erkennen.
Nach welchen allgemeinen inhaltlichen Kriterien werden Entscheidungen getroffen? Wie ist deren Gewichtung?
Event Anfang und Ende werden durch Relationen und Interkationen von Spielern und dem Ball erkannt.
Werden neue Merkmale erarbeitet, die nicht speziell erfasst werden (z.B. Kombination erhobener Merkmale)?
Das neuronale Netz erstellt komplexe Merkmalhierarchien auf Basis der unbehandelten Videos.
Nach welchen allgemeinen inhaltlichen Kriterien wird gelernt?
Das System ist in drei Module geteilt:
- ResNet zur Extraktion von räumlichen Merkmalen.
- LSTM zur Temporalisierung der räumlichen Merkmale.
- Ein Detektor Netzwerk erkennt Events aus temporal-räumlichen Merkmalen.
Das gesamte System wurde dann Ende-zu-Ende trainiert.
Präsentationen und Publikationen
Schlatt, F. (2020). Deep Learning for Event Detection from Sports Broadcast Videos. Masterarbeit
Ansprechpartner
Ferdinand Schlatt, M.Sc.
Email