VeryHuman

Biologisch inspirierte Kontrollalgorithmen wurden in jüngster Zeit erfolgreich für Robotersteuerung verwendet. Oft werden Techniken des bestärkenden Lernens oder der optimalen Kontrolltheorie verwendet, um komplexe Bewegungsabläufe mit einem Roboter durchzuführen (z.B. aufrechtes Gehen). Allerdings verbleiben bis dato zwei große Herausfoderungen für diese lernbasierten Ansätze:

• Robuste Roboterhardware und eine akkurate Simulation des Systems sind notwendig. Der Roboter kann beispielsweise nicht einer großen Anzahl holonomer Randbedingungen,  unter anderem interne mechanisch geschlossene Schleifen und externe Kontakte, unterworfen sein, welche die Genauigkeit der Simulation beeinträchtigen.
• Zum Anderen kann sich die Implementierung Kontrollalgorithmen dieser Art schwierig gestalten, da es einer adäquaten Spezifikation des gesuchten Verhaltens bedarf. Am Beispiel des aufrechtes Ganges eines zweibeinigen humanoiden Roboters wird deutlich, dass es nicht direkt offensichtlich ist, was diese Spezifikation ist.  Ein Ansatz ist die Relation verschiedener Körperteile zu betrachten (Kopf über Schultern, Schultern über Hüfte, Hüfte über Füßen) und physikalische Stabilitätskriterien zu untersuchen (Druckschwerpunkt, Zero Moment Point, etc.). Aber ist dies wirklich eine ausreichende Beschreibung des aufrechten Ganges, und was sind weitere, nicht-triviale Charakteristika? Die Beantwortung dieser Frage ist die Vorraussetzung, um passende Belohnungsfunktionnen und Randbedingungen für (tiefes) bestärkendes Lernen oder optimale Kontrolle zu formulieren.

Die drei Hauptforschungsfragen dieses Projektes sind:

• Wie können Verhaltenseigenschaften für einen komplexen humanoiden Roboter formuliert und bewiesen werden?
• Wie können Frameworks des bestärkenden Lernens und der optimalen Kontrolle effizient kombiniert werden um das gewünschte Verhalten zu erzielen?
• Wie können aus Verhaltensbeschreibungen Belohnungsfunktionen abgeleitet werden, so dass diese in dem komplexen Anwendungsfall des aufrechten Gehens für bestärkendes Lernen und optimale Kontrollansätze verwendet werden können?

Diese drei Forschungsfragen sind eng verwoben und werden in drei Projektbereichen bearbeitet. Das übergreifende Projektziel ist eine Methodologie zur Entwicklung eines hybriden Kontrollansatzes aus optimaler Kontrolle und bestärkendem Lernen, zusammen mit einer rationalen Rekonstruktion des beobachteten sowie zukünftigen Verhaltens. Diese Rekonstruktion basiert auf Beobachtung der Roboterbewegungen und grundlegender Kenntnis der Physik (Strarrkörperdynamik). Der generelle Ansatz ist in Fig 2 skizziert. Das Demonstrationsszenario beinhaltet die Anwendung der entwickelten Methodologie für den aufrechten Gang des Roboters “RH5”, einer Neuentwicklung des DFKI-RIC (Fig. 1)