Projektpartner

Grundlegende Problemstellung und Zielsetzung

Allgemein: Thema ist die Detektion von spielrelevanten Events, rein auf Basis von Videoübertragungssequenzen. Interaktionsmuster zwischen Spieler und dem Ball werden gelernt, um Zeitstempel von relevanten Events zu extrahieren.

Problem: Manuelles Markieren von Events ist zeitaufwändig. Ein Spiel vollständig zu markieren erfordert oft 20 Stunden oder mehr.

Ziel: Automatisches erkennen von Sportevents, um irrelevante Szenen herauszufiltern.

Keywords / Stichworte: Datengetriebene Optimierung, Lernen auf Datenströmen, Interpretierbarkeit von Modellen, Lernen mit Vorwissen

Technisches System

Die Daten wurden durch die Firma matchmetrics GmbH bereitgestellt.

Welche Daten werden erhoben?

  • Fußball Übertragungsvideos
  • Fußball Event Daten (Zeitstempel, Event Typ, Spieler, Koordinate, etc…)

Lösungsansatz

ML-Methode:
Überwachtes Transferlernen: ein vortrainiertes Deep Residual Network mit 50 Layern (ResNet- 50) wurde mit einem Long Short-Term Memory (LSTM) kombiniert, um die Eventwahrscheinlichkeit jedes Frames zu erkennen.

Nach welchen allgemeinen inhaltlichen Kriterien werden Entscheidungen getroffen? Wie ist deren Gewichtung?

Event Anfang und Ende werden durch Relationen und Interkationen von Spielern und dem Ball erkannt.

Werden neue Merkmale erarbeitet, die nicht speziell erfasst werden (z.B. Kombination erhobener Merkmale)?

Das neuronale Netz erstellt komplexe Merkmalhierarchien auf Basis der unbehandelten Videos.

Nach welchen allgemeinen inhaltlichen Kriterien wird gelernt?

Das System ist in drei Module geteilt:

  1. ResNet zur Extraktion von räumlichen Merkmalen.
  2. LSTM zur Temporalisierung der räumlichen Merkmale.
  3. Ein Detektor Netzwerk erkennt Events aus temporal-räumlichen Merkmalen.

Das gesamte System wurde dann Ende-zu-Ende trainiert.

Präsentationen und Publikationen

Schlatt, F. (2020). Deep Learning for Event Detection from Sports Broadcast Videos. Masterarbeit

Ansprechpartner

Ferdinand Schlatt, M.Sc.
fschlatt@techfak.uni-bielefeld.de