Selbst lernende Roboter gewinnen zunehmend an Bedeutung. Zentraler Treiber dieser Entwicklung ist die Verbesserung zugrundeliegender Reinforcement Learning Algorithmen. Neben der Lerngeschwindigkeit ist auch die effiziente Nutzung bereitgestellter Rechenkapazitäten zur Simulation physikalisch möglichst realitätsgetreuer, virtueller Abbildungen der späteren Einsatzgebiete des Agenten von Bedeutung.
Lange beschränkte sich die Forschung auf die adäquate Simulation der Agenten sowie deren Bewegung. Die Environments blieben dabei eher auf die Größe, Form und Position von Objekten beschränkt. In vielen Einsatzgebieten war eine solche Simplifizierung auch völlig hinreichend, da sich Agenten vor allem in ihrer Umgebung bewegen und nicht mit ihr interagieren sollten.
Mit zunehmender Ausweitung robotischer Einsatzfelder war dies jedoch nicht länger zeitgemäß. So sind beispielsweise Ernteroboter, medizintechnischer Roboter oder ein häuslicher Assistenzroboter darauf angewiesen die physikalische Beschaffenheit von Objekten genau erkennen und mit ihr umgehen zu können.
In all diesen Bereichen ist nicht nur die 3-dimensionale Repräsentation, sondern auch Flexibilität und Elastizität von zentraler Bedeutung. Die Manipulation solcher verformbarer Objekte kann nicht mittels herkömmlicher RL-Frameworks trainiert werden, sondern bedarf einerseits eines entsprechenden Backends zur physikalischen Simulation, andererseits ein Übersetzung dieser Simulationen in ein lernbares Environment.