PhysWM

Das Erlernen neuer Verhalten für robotische Systeme findet zum Teil in Physiksimulationen statt, um Risiken, Kosten und vor allem den Zeitbedarf zu minimieren, der beim direkten Lernen in der Realität nötig wäre. Dabei wird jedoch die Ungenauigkeit der Simulation, welche physikalische Vorgänge effizient approximiert, zum Problem. Damit in Simulation gelernte Verhalten, beim Transfer in die Realität weiterhin funktional sind, werden kritische Aspekte der Simulation oft randomisiert (Domain/Dynamics Randomization), was jedoch zusätzliche Simulationszeit und Expertenwissen bzgl. geeigneter Parameter benötigt.

Im Projekt PhysWM werden Algorithmen und Softwarekomponenten entwickelt, die moderne, differenzierbare Physik-Engines mit Lernverfahren verknüpfen, die es Robotersystemen ermöglichen, weitesgehend autonom ein physikalisch plausibles Weltmodell zu entwickeln. Wir schlagen vor einen hybriden Simulator zu nutzen, der aus differenzierbaren Physik- und Rendering-Modulen besteht. Dieses hybride Modell aus universellem physikalischem Vorwissen und neuronalen Netzen erlaubt es, gradientenbasierte Optimierungsverfahren anzuwenden und eine direkte Schätzung der Modellunsicherheit vorzunehmen. Beides sind Erfolgsfaktoren für eine effiziente Anpassung an neue Umgebungen und für eine präzise Erklärbarkeit von gelernten Modellen und Verhalten, welche für die Autonomie von robotischen Systemen zentrale Herausforderungen sind.

In PhysWM wird ein Curriculum-Learning-Ansatz implementiert, um den Aufwand für die Verbesserung des Verhaltenslernens zu optimieren. Das Curriculum-Lernen wird sowohl auf die Aufgaben- als auch auf die Modellkomplexität angewendet, um das Erkundungsverhalten zu steuern und den Lernprozess zu beschleunigen. Dieser Ansatz beginnt mit dem Erlernen des Verhaltens von Robotern in einfachen Weltmodellen und steigert die Komplexität schrittweise nach Bedarf. Darüber hinaus ermöglicht Bayes’sche Inferenz eine Schätzung der Unsicherheit der in unserem Modell verwendeten physikalischen Parameter. Es wird erwartet, dass dieser Ansatz die Gesamteffizienz und Genauigkeit des Verhaltenslernens verbessert.