Grundlegende Problemstellung und Zielsetzung

Allgemein:

Die roboterbasierte Automatisierung von Montageprozessen ist ein herausforderndes Problem. Insbesondere kontaktreiche Interaktionen ist mit klassischen Methoden aufwändig zu spezifizieren und manuelle Optimierung ist notwendig, um eine robuste Ausführung zu erreichen. RL-basierte Methoden sind eine vielversprechende Lösung, aber das Lernen von Grund auf erfordert in der Regel eine große Anzahl von Trainingsdaten. Daher ist die Einbeziehung von Vorwissen der Schlüssel dazu, lernbasierten Methoden umsetzbar zu machen.

Problem:

In der Industrie gibt es oft den Anwendungsfall, dass Komponenten und deren Pose mit Hilfe von Kameratechnik erkannt werden und diese anschließend montiert werden sollen, um die Produktion zu flexibilisieren. Für präzise Montageprozesse, die eine hohe Genauigkeit erfordern, müssen Positionsunsicherheiten aufgrund von Fehlern bei der Erkennung von Posen kompensiert werden.

Ziel:

Entwicklung eines Grey-Box Learning Ansatzes, der es ermöglicht, Vorwissen von Prozessexperten mit lernbasierten Methoden zu kombinieren. Somit sollen Montageprozesse flexibler gestaltet werden können, deren Programmierung vereinfacht werden und deutlich weniger Trainingsdaten notwendig sein als beim Lernen von Grund auf.

Keywords / Stichworte:

Lernen mit Vorwissen; Eingebettetes Lernen

Technisches System

Die ML-Lösung wurde auf Grundlage Manipulations-Primitiv Netzen und Policy Gradient Reinforcement Learning Methoden entwickelt.

Welche Sensoren sind in der Technologie integriert?

Momentensensoren in den Robotergelenken
Positionssensoren in den Robotergelenken

Welche Daten werden erhoben?

Experimentelle Ergebnisse durch Interaktion mit der Umgebung (Erfolg / Nicht-Erfolg)

Wie werden die Daten behandelt?

Daten aus Interaktion werden nur temporär zwischengespeichert und für Policy Updates verwendet. Anschließend werden die Daten verworfen.

Lösungsansatz

ML-Methode: Adaptive Manipulationsstrategien (AMS)

Im Rahmen von ITS.ML wurde eine Grey-Box-Learning Methode für die Robotik entwickelt, die modellbasiert vorliegendes Vorwissen über Manipulationsaufgaben mit Methoden des Reinforcement-Learning kombiniert, um die Spezifikation von Manipulationsaufgaben zu vereinfachen, das Lernen mit wenigen Samples zu ermöglichen und gleichzeitig die Robustheit des Roboterverhaltens bei der Ausführung der eigentlichen Aufgabe zu steigern. Hierzu wird eine partielle Spezifikation des Roboterverhaltens basierend auf Manipulations-Primitiv Netzen als Basis für den Lernprozess genutzt. Teile des Montageprozesses werden fest programmiert. Eine gezielte Modellierung von Lernmöglichkeiten in ausgewählten Situationen ermöglicht den Ausgleich von Unsicherheiten (häufig Positionsunsicherheiten) im Prozess.

Präsentationen und Publikationen

M. Braun und S. Wrede, „Incorporation of Expert Knowledge for Learning Robotic Assembly Tasks,“ 25th IEEE International Conference on Emerging Technologies and Factory Automation, 2020.

M. Braun und S. Wrede, „Combining Manipulation Primitive Nets and Policy Search for Robotic Manipulation Tasks,“ International Conference on Robotics and Automation, 2022 (submitted).

M. Braun und S. Wrede, „Combining Manipulation Primitive Nets and Policy Gradient Methods for Learning Robotic Assembly Tasks,“ DGR-Days 2021, 2021 (accepted).