VeryHuman

Lernen und Verifikation Komplexer Verhalten für Humanoide Roboter

Die Validierung von Systemen in sicherheitsrelevanten Situationen ist ein inhärent schwieriges Problem, wenn deren Verhalten über Lernalgorithmen trainiert wurde. Der subsymbolische Operationsmodus erlaubt keine ausreichende Abstraktion oder Repräsentation um Korrektheitsbeweise zu führen. Die Zielsetzung des Projektes VeryHuman ist es, die nötigen Abstraktionsebenen durch Beobachtung und Analyse des zweibeinigen Laufens eines humanoiden Roboters zu synthetisieren. Die zu entwickelnde Theorie dient sowohl als Grundlage, um Belohnungsfunktionen abzuleiten, die für die optimale Kontrolle des Roboters über erweiterte Lernansätze verwendet werden, als auch um verifizierbare Abstraktionen kinematischer Robotermodelle zu generieren, die erleichterte Verhaltensvalidierung erlauben.

Laufzeit: 01.06.2020 bis 31.05.2024
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH
Fördergeber: Bundesministerium für Bildung und Forschung
Förderkennzeichen: 01IW20004
Partner:

Forschungsbereich Cyber-Physical Systems (CPS), Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Anwendungsfelder: Assistenz- und Rehabilitationssysteme
Logistik, Produktion und Consumer
SAR- & Sicherheitsrobotik
Weltraumrobotik
Verwandte Projekte: D-Rock
Modelle, Verfahren und Werkzeuge für die Modelbasierte Softwareentwicklung von Robotern (06.2015- 05.2018)
TransFIT
Flexible Interaktion für Infrastrukturaufbau mittels Teleoperation und direkte Kollaboration und Transfer in Industrie 4.0 (07.2017- 12.2021)
Q-Rock
Modellbasierte Bestimmung und Validierung von wiederverwendbaren und übertragbaren Roboterverhalten (08.2018- 07.2021)
Verwandte Robotersysteme: RH5
Humanoider Roboter als Assistenzsystem in menschoptimierter Umgebung
RH5 Manus
Humanoider Roboter als Assistenzsystem in menschoptimierter Umgebung
Verwandte Software: HyRoDyn
Hybrid Robot Dynamics
MARS
Machina Arte Robotum Simulans
NDLCom
Node Level Data Link Communication
Rock
Robot Construction Kit

Projektdetails

Darstellung des Workflows im Projekt VeryHuman. Quelle: DFKI, Foto: Daniel Harnack

Biologisch inspirierte Kontrollalgorithmen wurden in jüngster Zeit erfolgreich für Robotersteuerung verwendet. Oft werden Techniken des bestärkenden Lernens oder der optimalen Kontrolltheorie verwendet, um komplexe Bewegungsabläufe mit einem Roboter durchzuführen (z.B. aufrechtes Gehen). Allerdings verbleiben bis dato zwei große Herausfoderungen für diese lernbasierten Ansätze:

  • Robuste Roboterhardware und eine akkurate Simulation des Systems sind notwendig. Der Roboter kann beispielsweise nicht einer großen Anzahl holonomer Randbedingungen,  unter anderem interne mechanisch geschlossene Schleifen und externe Kontakte, unterworfen sein, welche die Genauigkeit der Simulation beeinträchtigen.
  • Zum Anderen kann sich die Implementierung Kontrollalgorithmen dieser Art schwierig gestalten, da es einer adäquaten Spezifikation des gesuchten Verhaltens bedarf. Am Beispiel des aufrechtes Ganges eines zweibeinigen humanoiden Roboters wird deutlich, dass es nicht direkt offensichtlich ist, was diese Spezifikation ist.  Ein Ansatz ist die Relation verschiedener Körperteile zu betrachten (Kopf über Schultern, Schultern über Hüfte, Hüfte über Füßen) und physikalische Stabilitätskriterien zu untersuchen (Druckschwerpunkt, Zero Moment Point, etc.). Aber ist dies wirklich eine ausreichende Beschreibung des aufrechten Ganges, und was sind weitere, nicht-triviale Charakteristika? Die Beantwortung dieser Frage ist die Vorraussetzung, um passende Belohnungsfunktionnen und Randbedingungen für (tiefes) bestärkendes Lernen oder optimale Kontrolle zu formulieren.

Die drei Hauptforschungsfragen dieses Projektes sind:

  • Wie können Verhaltenseigenschaften für einen komplexen humanoiden Roboter formuliert und bewiesen werden?
  • Wie können Frameworks des bestärkenden Lernens und der optimalen Kontrolle effizient kombiniert werden um das gewünschte Verhalten zu erzielen?
  • Wie können aus Verhaltensbeschreibungen Belohnungsfunktionen abgeleitet werden, so dass diese in dem komplexen Anwendungsfall des aufrechten Gehens für bestärkendes Lernen und optimale Kontrollansätze verwendet werden können?

Diese drei Forschungsfragen sind eng verwoben und werden in drei Projektbereichen bearbeitet. Das übergreifende Projektziel ist eine Methodologie zur Entwicklung eines hybriden Kontrollansatzes aus optimaler Kontrolle und bestärkendem Lernen, zusammen mit einer rationalen Rekonstruktion des beobachteten sowie zukünftigen Verhaltens. Diese Rekonstruktion basiert auf Beobachtung der Roboterbewegungen und grundlegender Kenntnis der Physik (Strarrkörperdynamik). Der generelle Ansatz ist in Fig 2 skizziert. Das Demonstrationsszenario beinhaltet die Anwendung der entwickelten Methodologie für den aufrechten Gang des Roboters “RH5”, einer Neuentwicklung des DFKI-RIC (Fig. 1)
 

Videos

RicMonk: Ein dreigliedriger Hangelroboter mit passiven Greifern für eine energieeffiziente Hangelbewegung

In diesem Beitrag werden das Design, die Analyse und die Leistungsbewertung von RicMonk vorgestellt, einem neuartigen dreigliedrigen Hangelroboter, der mit passiven hakenförmigen Greifern ausgestattet ist. Das Hangeln, eine wendige und energieeffiziente Art der Fortbewegung, die bei Primaten beobachtet wird, hat die Entwicklung von RicMonk inspiriert, um vielseitige Fortbewegung und Manöver auf leiterartigen Strukturen zu erforschen. Die anatomische Ähnlichkeit des Roboters mit Gibbons und die Integration eines Schwanzmechanismus zur Energiezufuhr tragen zu seinen einzigartigen Fähigkeiten bei. Der Beitrag beschreibt die Verwendung der Methode der direkten Kollokation zur Optimierung der Trajektorien für das dynamische Verhalten des Roboters und die Stabilisierung dieser Trajektorien mithilfe eines zeitvariablen linearen quadratischen Reglers. Mit RicMonk demonstrieren wir bidirektionales Hangeln und bieten eine vergleichende Analyse mit seinem Vorgänger AcroMonk, einem zweigliedrigen Hangelroboter, um zu zeigen, dass das Vorhandensein eines passiven Schwanzes die Energieeffizienz verbessert. Das Systemdesign, die Steuerungen und die Software-Implementierung sind auf GitHub öffentlich zugänglich.

M-RoCK+VeryHuman: Whole-Body Control of Series-Parallel Hybrid Robots

Das Video illustriert die Ergebnisse der Arbeit Dennis Mronga, Shivesh Kumar, Frank Kirchner: "Whole-Body Control of Series-Parallel Hybrid Robots", Accepted for Publication: IEEE International Conference on Robotics and Automation (ICRA), 23.5.-27.5.2022, Philadelphia, 2022.

RH5: Motion Capture State Feedback für die Echtzeitsteuerung eines humanoiden Roboters

Das Video veranschaulicht die Ergebnisse der Veröffentlichung Mihaela Popescu, Dennis Mronga, Ivan Bergonzani, Shivesh Kumar, Frank Kirchner: "Experimental Investigations into Using Motion Capture State Feedback for Real-Time Control of a Humanoid Robot", zur Veröffentlichung angenommen: MDPI Sensors Journal, Sonderausgabe "Advanced Sensors Technologies Applied in Mobile Robot", 2022.

RH5 Manus: Hintergründe der Robotertanzgenerierung basierend auf musikanalysegesteuerter Trajektorienoptimierung

RH5 Manus: Robotertanzgenerierung basierend auf musikanalysegesteuerter Trajektorienoptimierung

Musikalisches Tanzen ist ein allgegenwärtiges Phänomen in der menschlichen Gesellschaft. Die Fähigkeit von Robotern zu tanzen hat das Potenzial, die Koexistenz von Mensch und Roboter akzeptabler zu machen. Daher haben tanzende Roboter in den letzten Jahren ein erhebliches Forschungsinteresse geweckt. In diesem Beitrag stellen wir eine neuartige Formalisierung des Robotertanzes als Planung und Steuerung von optimal getakteten Aktionen vor, die auf

Taktzeiten und zusätzlichen, aus der Musik extrahierten Merkmalen. Wir zeigen die Anwendung dieser Formulierung in drei verschiedenen Varianten: mit der Eingabe einer Choreografie durch einen menschlichen Experten, der Imitation einer vordefinierten Choreografie und der automatischen Generierung einer neuen Choreografie. Unsere Methode wurde an vier verschiedenen Musikstücken validiert, sowohl in der Simulation als auch an einem realen Roboter, dem humanoiden Oberkörperroboter RH5 Manus.

RH5 Manus: Vorstellung eines leistungsfähigen humanoiden Oberkörperdesigns für dynamische Bewegungen

Jüngste Studien deuten darauf hin, dass eine steife Struktur zusammen mit einer optimalen Massenverteilung die Schlüsseleigenschaften sind, um dynamische Bewegungen auszuführen, und dass parallele Designs einem Roboter diese Eigenschaften verleihen. In dieser Arbeit wird das neue Oberkörperdesign des humanoiden Roboters RH5, genannt RH5 Manus, mit seriell-parallelem Hybriddesign vorgestellt. Die neuen Konstruktionsentscheidungen ermöglichen es uns, dynamische Bewegungen auszuführen, einschließlich Aufgaben, die eine Nutzlast von 4 kg in jeder Hand erfordern,

und schnelle Box-Bewegungen. Die parallele Kinematik in Kombination mit einer seriellen Gesamtkette des Roboters ermöglicht uns eine hohe Krafterzeugung bei einem größeren Bewegungsbereich und einer geringen peripheren Trägheit. Der Roboter ist mit Kraft-Drehmoment-Sensoren, Stereokamera, Laserscannern, hochauflösenden Encodern usw. ausgestattet, die eine Interaktion mit dem Bediener und der Umgebung ermöglichen. Wir generieren verschiedene dynamische Bewegungen mit Hilfe von Bahnoptimierung und führen sie erfolgreich auf dem Roboter mit genauer Bahn- und Geschwindigkeitsverfolgung aus, wobei wir die Grenzen für Rotation, Geschwindigkeit und Drehmoment der Gelenke einhalten.

RH5 Manus: Humanoider Assistenzroboter für zukünftige Weltraummissionen

Der humanoide Roboter "RH5 Manus" wurde im Rahmen des "TransFIT"-Projekts als Assistenzroboter entwickelt, der in der direkten menschlichen Umgebung, zum Beispiel auf einer zukünftigen Mondstation, eingesetzt werden kann. Ziel war es, den Roboter mit den notwendigen Fähigkeiten auszustatten, um komplexe Montagearbeiten sowohl autonom, als auch in Kooperation mit Astronauten und teleoperiert durchzuführen. Ein weiterer Schwerpunkt des Projekts lag auf der Übertragung der entwickelten Technologien auf die industrielle Fertigung und Produktion. Das Video zeigt die mechanische Montage und die Inbetriebnahme des Roboters.

RH5: Entwurf, Analyse und Steuerung des Serien-Parallel-Hybridroboters RH5 Humanoid

In diesem Beitrag wird ein neuartiger seriell-paralleler Hybrid-Humanoid namens RH5 vorgestellt, der 2 m groß ist und nur 62,5 kg wiegt und in der Lage ist, schwere dynamische Aufgaben mit 5 kg Nutzlast in jeder Hand auszuführen. Die Analyse und Steuerung dieses Humanoiden wird mit einer Ganzkörper-Trajektorien-Optimierungstechnik durchgeführt, die auf differentieller dynamischer Programmierung (DDP) basiert. Zusätzlich stellen wir einen verbesserten kontaktstabilitätsabhängigen DDP-Algorithmus vor, der in der Lage ist, physikalisch konsistente Lauftrajektorien für den Humanoiden zu generieren, die über eine einfache PD-Positionskontrolle in einem Physiksimulator verfolgt werden können. Schließlich präsentieren wir erste experimentelle Ergebnisse mit dem humanoiden Roboter RH5.

Torque-limited simple pendulum: A toolkit for getting started with underactuated robotics

This project describes the hardware (Computer-aided design (CAD) models, Bill Of Materials (BOM), etc.) required to build a physical pendulum system and provides the software (Unified Robot Description Format (URDF) models, simulation and controller) to control it. It provides a setup for studying established and novel control methods on a simple torque-limited pendulum, and targets students and beginners of robotic control. In this video we will cover mechanical and electrical setup of the test bed, introduce offline trajectory optimization methods and showcase model-based as well as data-driven controllers. The entire hardware and software description is open-source available.

Publikationen

2023

Investigations into Exploiting the Full Capabilities of a Series-Parallel Hybrid Humanoid using Whole Body Trajectory Optimization
Melya Boukheddimi, Rohit Kumar, Shivesh Kumar, Carpentier Justin, Frank Kirchner
In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), (IROS-2023), 01.10.-05.10.2023, Detroit, Michigan, IEEE, Oct/2023.
End-to-End Reinforcement Learning for Torque Based Variable Height Hopping
Raghav Soni, Daniel Harnack, Hauke Isermann, Sotaro Fushimi, Shivesh Kumar, Frank Kirchner
In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), (IROS-2023), 01.10.-05.10.2023, Detroit, MI, IEEE Robotics and Automation Society, pages 7531-7538, Oct/2023. ISBN: 978-1-6654-9190-7.
AcroMonk: A Minimalist Underactuated Brachiating Robot
Mahdi Javadi, Daniel Harnack, Paula Stocco, Shivesh Kumar, Shubham Vyas, Daniel Pizzutilo, Frank Kirchner
In IEEE Robotics and Automation Letters, IEEE, volume 8, pages 1-8, Jun/2023.
A Recursive Lie-Group Formulation for the Second-Order Time Derivatives of the Inverse Dynamics of Parallel Kinematic Manipulators
Andreas Müller, Shivesh Kumar, Thomas Kordik
In IEEE Robotics and Automation Letters, IEEE, volume 8, pages 1-8, Apr/2023.
Deriving Rewards for Reinforcement Learning from Symbolic Behaviour Descriptions of Bipedal Walking
Daniel Harnack, Christoph Lüth, Lukas Groß, Shivesh Kumar, Frank Kirchner
In 62nd IEEE Conference on Decision and Control (CDC), (CDC-2023), 13.12.-15.12.2023, Marina Bay Sands, TBA., 2023.
Fast Dynamic Walking with RH5 Humanoid Robot
Ivan Bergonzani, Mihaela Popescu, Shivesh Kumar, Frank Kirchner
In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), (Humanoids), 12.12.-14.12.2023, Austin, TX, IEEE, 2023. ISBN: 979-8-3503-0327-8.

2022

Analytic Estimation of Region of Attraction of an LQR Controller for Torque Limited Simple Pendulum
Lukas Groß, Lasse Jenning Shala, Shivesh Kumar, Frank Kirchner, Christoph Lüth
In 61st IEEE Conference on Decision and Control, (CDC-2022), 6.12.-9.12.2022, Cancun, Institute of Electrical and Electronics Engineers (IEEE), Dec/2022.
Experimental Investigations into Using Motion Capture State Feedback for Real-Time Control of a Humanoid Robot
Mihaela Popescu, Dennis Mronga, Ivan Bergonzani, Shivesh Kumar, Frank Kirchner
In Sensors - Open Access Journal, Multidisciplinary Digital Publishing Institute (MDPI), volume 22, number 24, pages 1-12, Dec/2022.
Modular and Hybrid Numerical-Analytical Approach - A Case Study on Improving Computational Efficiency for Series-Parallel Hybrid Robots
Rohit Kumar, Shivesh Kumar, Andreas Mueller, Frank Kirchner
In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), (IROS-2022), 23.10.-27.10.2022, Kyoto, IEEE, Nov/2022.
Torque-limited simple pendulum: A toolkit for getting familiar with control algorithms in underactuated robotics
Felix Wiebe, Jonathan Babel, Shivesh Kumar, Shubham Vyas, Daniel Harnack, Melya Boukheddimi, Mihaela Popescu, Frank Kirchner
In Journal of Open Source Software, The Open Journal, volume 7, number 74, pages 1-7, Jun/2022.
Kinematic Analysis of a Novel Humanoid Wrist Parallel Mechanism
Christoph Stoeffler, Adriano del Rio Fernandez, Heiner Peters, Moritz Schilling, Shivesh Kumar
Editors: Bruno Siciliano, Oussama Khatib
In ARK 2022: Advances in Robot Kinematics 2022, (ARK-2022), 27.6.-30.6.2022, Bilbao, Springer, series Springer Proceedings in Advanced Robotics, volume 24, pages 348-355, Jun/2022. ISBN: 978-3-031-08140-8.
A Survey on Design and Control of Lower Extremity Exoskeletons for Bipedal Walking
Ibrahim Tijjani, Shivesh Kumar, Melya Boukheddimi
In Applied Sciences, MDPI, volume 12, number 5, pages 1-31, Feb/2022.
Post-Capture Detumble Trajectory Stabilization for Robotic Active Debris Removal
Shubham Vyas, Lasse Maywald, Shivesh Kumar, Marko Jankovic, Andreas Mueller, Frank Kirchner
In Advances in Space Research, Elsevier Ltd., volume 1, pages 1-18, 2022.

2021

Closed-form time derivatives of the equations of motion of rigid body systems
Andreas Müller, Shivesh Kumar
In Multibody System Dynamics, Springer, volume o.A., pages o.A., Jul/2021.
Design, Analysis and Control of the Series-Parallel Hybrid RH5 Humanoid Robot
Julian Eßer, Shivesh Kumar, Heiner Peters, Vinzenz Bargsten, José de Gea Fernández, Carlos Mastalli, Olivier Stasse, Frank Kirchner
In 2020 IEEE-RAS 20th International Conference on Humanoid Robots (Humanoids), (Humanoids-2020), 19.7.-21.7.2021, Munich/Virtual, IEEE, pages 400-407, Jul/2021.
Nth Order Analytical Time Derivatives of Inverse Dynamics in Recursive and Closed Forms
Shivesh Kumar, Andreas Mueller
In 2021 IEEE International Conference on Robotics and Automation (ICRA), (ICRA-2021), 30.5.-05.6.2021, Xi'an, IEEE, Jun/2021. IEEE.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 04.01.2024
nach oben