Optimizing Simulation Parameter Distributions with Learned Test Behaviors to improve a Behavior-Performance-Map

Zum Lernen von Roboterverhalten mithilfe von Reinforcement Learning oder evolutionären Algorithmen sind viele Ausführungen notwendig. Hauptsächlich werden diese in einer Simulation vorgenommen, um schneller und effizienter Evaluierungen durchzuführen. Ein Problem bei dieser Vorgehensweise ist die Übertragbarkeit der Ergebnisse, da Simulation und Realität voneinander abweichen, d.h. es besteht ein Simulation-Reality-Gap. Eine niedrige Simulationsgenauigkeit erschwert die Übertragbarkeit von in Simulation gelernten Verhalten. Somit ist es notwendig, die Simulation möglichst gut an die Realität anzupassen. Darüber hinaus sind Kontextanpassungen notwendig, welche mit einer Erfahrungsdatenbank mithilfe des Experience-Based Behavior Adaptation Ansatzes gemacht werden können. Die Erfahrungsdatenbank erfordert eine Simulation, welche die Realität in wesentlichen Merkmalen (z.B. insbesondere die Kinematik und Dynamik des Roboters) abbildet.
Das Ziel dieser Masterarbeit ist, die Qualität der Erfahrungsdatenbank zu erhöhen, indem beim Verhaltenslernen auch explizit Testverhalten generiert werden, welche primär zur Verbesserung der Simulation beitragen sollen. Es soll daher eine Integration des Experience-Based Behavior Adaptation Ansatzes mit dem Estimation-Exploration Algorithm Ansatz (EEA) realisiert werden. Im Rahmen der Masterarbeit müssen die genauen Szenarien spezifiziert werden. Mit einem geeigneten Szenario lässt sich prüfen, bis zu welcher Komplexität der EEA Ansatz anwendbar ist.
In diesem Vortrag werden die Problemstellung, der Rahmen der Arbeit, der Stand der Technik, die verwendeten Komponenten und die Vorgehensweise vorgestellt.