VI-Bot
Virtual Immersion for holistic feedback control of semi-autonomous robots
Dr. rer. nat. Elsa Kirchner
VI-Bot integriert Ansätze aus Robotik, Neurowissenschaften und Mensch-Maschine Kommunikation in einem innovativen System zur Fernsteuerung von Robotersystemen. Durch den Aufbau eines neuartigen Exoskeletts mit integrierter passiver Sicherheit, die Verwendung einer adaptiven handlungsprädizierenden Benutzerbeobachtung durch online-EEG-Analyse und die umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen kann dem Operator ein Gefühl "vor Ort“ bei der Telemanipulation vermittelt werden.
Projektdetails
Mobile Robotersysteme und ihre Einsatzfelder werden zunehmend komplexer. Diese Komplexität hat einen Grad erreicht, der sowohl eine direkte Steuerung durch einen Bediener als auch eine Steuerung durch eine dem neuesten Stand der Technik entsprechende KI sehr unökonomisch werden lässt. VI-Bot hat zum Ziel, die Steuerung eines solch komplexen Robotersystems durch einen einzelnen Bediener möglich zu machen. Das Zusammenspiel eines sicheren Exoskeletts, einer adaptiven Benutzerbeobachtung und einer robusten multi-modalen Benutzerschnittstelle soll dem Bediener eines semi-autonomen Robotersystems den Eindruck vermitteln, sich direkt vor Ort zu befinden. Diese Form der virtuellen Immersion wird eine neue Basis für die Fernsteuerung von Robotersystemen schaffen und es ermöglichen, die Grenzen zwischen Roboter und Bediener virtuell aufzulösen und damit die kognitiven Fähigkeiten des Menschen mit der Robustheit der Robotersysteme zusammenzuführen. Die Leistungsfähigkeit des Ansatzes wird anhand einer komplexen Manipulationsaufgabe evaluiert.
Die Erfahrungen mit bisherigen Teleoperationsumgebungen haben gezeigt, dass sowohl die perzeptiven als auch die motorischen Belastungen der Operatoren sehr hoch sind. Dies hat zum Beispiel zur Folge, dass Warnhinweise des Systems von den Operatoren oft nicht rechtzeitig wahrgenommen werden und mit zunehmender Einsatzdauer ihre Fehlerrate zunimmt. Daher muss die angestrebte wechselseitige Kontrolle des Operators und des VI-Bot Interface direkt, zuverlässig, schnell sowie höchst abgestimmt erfolgen. Durch Nutzung des zu entwickelnden adaptiven "Brain Reading"-Interface (aBRI) soll das VI-Bot-System in der Lage sein, sowohl festzustellen, ob der Operator eine ihm präsentierte Meldung wahrgenommen hat, als auch Aktionen des Operators vorherzusagen, um so das System auf diese vorzubereiten.
VI-Bot ist das erste Projekt seiner Art, welches Ansätze aus den Bereichen der Robotik, Neurowissenschaften und der Mensch-Maschine Kommunikation in einem Gesamtsystem integriert und dabei die Herausforderung annimmt, die bislang größtenteils theoretischen Ansätze in sehr realistischen und anwendungsnahen Szenarien umzusetzen. Die diesbezüglich herausragenden Elemente sind:
- Neuartiges Exoskelett basierend auf intelligenten Gelenkmodulen mit integrierter passiver Sicherheit.
- Erstmalig adaptive handlungsprädizierende Benutzerbeobachtung durch online-EEG-Analyse.
- Umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen.
Videos
VI-Bot: Virtuelle Immersion
Virtuelle Immersion für ganzheitliche Regelung von teilautonomen Roboter.
VI-Bot: Aktives Exoskelett
Teleoperation mit dem Aktiven Exoskelett
VI-Bot: Finales aktives Exoskelett
Teleoperation mit dem finalen aktiven Exoskelett.
VI-Bot: Passives Exoskelett
Teleoperation mit dem Passiven Exoskelett.
Exoskelett und Steuerung der Teleoperation
Im VI-Bot Projekt wird sowohl im Bereich Hardware als auch im Bereich Software der Stand der Technik aufgenommen und weiterentwickelt: Das haptische Nutzerinferface Exoskelett und die Kontrollalgorithmen, um, erstens, das Exoskelett im Zusammenspiel mit einem menschlichen Operator zu steuern, und, zweitens, um die Teleoperation eines robotischen Zielsystems durchzuführen, werden technisches Neuland beschreiten.
Das Design des Exoskeletts basiert auf der Anatomie des menschlichen Armes. Es soll tragbar, leicht und einfach an verschiedene Benutzer anpassbar sein. Seine kinematische Struktur ist so ausgelegt, dass es die Bewegungen des Benutzers möglichst wenig einschränkt und gleichzeitig einen hohen Tragekomfort über den gesamten Arbeitsbereich bietet.
Die Regelung des Exoskeletts, die auf einer Kombination von klassischen mit bio-inspirierten Regelungstechniken aufbaut, wird eine eine bessere Harmonisierung mit dem Nervensystem des menschlichen Arms ermöglichen und bietet zusätzlich die Möglichkeit, unterschiedliche Sicherheitsmechanismen in das System zu integrieren. Schließlich wird eine einfache und gleichzeitig intuitive Teleoperation einer breiten Klasse von robotischen Systemen durch die Entwicklung eines allgemeinen Positions- und Kraft-Regelungsalgorithmus ermöglicht.
Direkt zu den Robotersystemseiten:
Aktives Exoskelett
Passives Exoskelett
Hier gelangen Sie zu weiteren Informationen zu dem Exoskelett und der Steuerung der Teleoperation.
aBRI
Die aBR-Schnittstelle (aBRI), die Teil des VI-Bot-Systems ist, ist eine hochgradig integrierte Kontrollumgebung, welche die Gehirnaktivität eines Operators in Echtzeit überwacht, um bevorstehende Bewegungen vorherzusagen und um festzustellen, ob der Operator Warnungen aus der Umgebung bewusst verarbeitet hat. Sie ist daher eine entscheidende Komponente des VI-Bot-Systems, welches sowohl mit dem Exoskelett- als auch mit dem Virtuellen-Immersions-Teilsystem interagiert, und erweitert das Gebiet der Mensch-Maschine-Interaktion um den Bereich der mentalen Zustandsüberwachung.
Momentan sind wir in der Lage, spezifische EEG-Aktivität online zu detektieren. Dies erlaubt dem BR-System vorherzusagen, ob Warnungen aus der Umgebung kognitiv verarbeitet wurden. Aktuell arbeiten wir an der Entwicklung von Methoden zur Vorhersage bevorstehender Bewegungen und an der Optimierung des Online-Systems hinsichtlich der Adaptivität.
Lesen Sie hier mehr zu der aBR-Schnittstelle.
Demonstrations-Szenario
Als Demonstrations- und Evaluationszenario wird ein Tele-Operationsvorgang gewählt, der mehrere typische Elemente einer Fernmanipulation aufweist. Der Zielroboter ist ein sehr flexibler Mitsubishi PA-10 Industrieroboter. Dieser Roboter wird über das Exoskeleton ferngelenkt werden. Er steht in einem Labor und der Operator hat die Aufgabe ein Werkzeug aufzunehmen, dieses an einer Kontur entlang zu führen und danach wieder abzulegen. Der Operator trägt bei diesem Vorgang das Exoskeleton zur Steuerung des Roboters und zur Interaktion mit einer Benutzerschnittstelle, benutzt das HMD zur Beobachtung der Szene mittels einer Kamera und eines 3D Models und trägt die EEG Kappe mit angeschlossenem aBRI zur Überwachung seiner Reaktion. Während des gesamten Vorgangs muss der Operator ausserdem auf Warnmeldungen achten, die ihm in das HMD eingeblendet werden, und diese gegebenenfalls bestätigen.
Dieses Szenario bildet alle Kernkomponenten von VI-Bot ab. Der Operator kann durch das Exoskeleton den Roboter intuitiv an die Aufgabe heranführen und sie mit einem "Vor-Ort" Gefühl ausführen. Er wird dabei durch das aBRI System überwacht und somit kann überprüft werden, ob er eine der Warnungen übersehen hat oder sie bewusst ignoriert weil er gerade in einer kritischen Phase der Manipulation ist. Darüber hinaus wird die haptische Rückkopplung des Exoskeletons durch das aBRI unterstützt und damit eine feinfühliger Manipulation ermöglicht. Sämtliche Teilkomponenten des Szenarios können einzeln deaktiviert werden, um eine Evaluation der Leistung zu ermöglichen.
Das Demoszenario wird im Oktober 2010 implementiert werden und im letzten Quartal des Projektes evaluiert werden.