VI-Bot

Virtual Immersion for holistic feedback control of semi-autonomous robots

Exoskelett (Foto: David Schikora, DFKI GmbH)
Exoskelett (Foto: David Schikora, DFKI GmbH)

VI-Bot integriert Ansätze aus Robotik, Neurowissenschaften und Mensch-Maschine Kommunikation in einem innovativen System zur Fernsteuerung von Robotersystemen. Durch den Aufbau eines neuartigen Exoskeletts mit integrierter passiver Sicherheit, die Verwendung einer adaptiven handlungsprädizierenden Benutzerbeobachtung durch online-EEG-Analyse und die umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen kann dem Operator ein Gefühl "vor Ort“ bei der Telemanipulation vermittelt werden.

Laufzeit: 01.01.2008 bis 31.12.2010
Zuwendungsempfänger: DFKI GmbH
Fördergeber: Bundesministerium für Bildung und Forschung
Förderkennzeichen: Gefördert durch das Bundesministerium für Bildung und Forschung, Förderkennzeichen 01IW07003
Anwendungsfelder: Unterwasserrobotik
Assistenz- und Rehabilitationssysteme
Verwandte Projekte: CManipulator
Autonome Dual-Arm Manipulation für Inspektion und Wartung in der Tiefsee (09.2006- 09.2009)
Labyrinth 1
Entwicklung von Lernarchitekturen und Experimente im Bereich senso-motorisches Lernen (06.2007- 12.2007)
Labyrinth 2
Einrichtung als Testbed für Lernarchitekturen und EEG/ fMRI- Untersuchungen (01.2008- 01.2009)
Verwandte Robotersysteme: BRIO Labyrinth
Testbed für die Entwicklung von Lernarchitekturen
Exoskelett aktiv (Capio)
Capio Oberkörper-Exoskelett für die Teleoperation
Exoskelett Aktiv (VI-Bot)
Exoskelett für den menschlichen Oberkörper (rechter Arm)
Exoskelett Passiv (VI-Bot)
Passives Exoskelett für den menschlichen Oberkörper (rechter Arm)
Verwandte Software: CAD-2-SIM
Computer Aided Design To Simulation
MARS
Machina Arte Robotum Simulans
pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python

Projektdetails

Übersicht des Zusammenspiels der Komponenten im VI-Bot Projekt. Zu sehen ist das Zusammenspiel zwischen Exoskelett, Visualisierung und aBRI sowie die beiden Demonstrationsszenarien (Quelle: DFKI GmbH)
Das Schema des Mapping Systems um die Freiheitsgrade des Exoskeletts an die Bewegungsmöglichkeiten des Zielsystems für den Operator transparent anzupassen. (Quelle: DFKI GmbH)

Mobile Robotersysteme und ihre Einsatzfelder werden zunehmend komplexer. Diese Komplexität hat einen Grad erreicht, der sowohl eine direkte Steuerung durch einen Bediener als auch eine Steuerung durch eine dem neuesten Stand der Technik entsprechende KI sehr unökonomisch werden lässt. VI-Bot hat zum Ziel, die Steuerung eines solch komplexen Robotersystems durch einen einzelnen Bediener möglich zu machen. Das Zusammenspiel eines sicheren Exoskeletts, einer adaptiven Benutzerbeobachtung und einer robusten multi-modalen Benutzerschnittstelle soll dem Bediener eines semi-autonomen Robotersystems den Eindruck vermitteln, sich direkt vor Ort zu befinden. Diese Form der virtuellen Immersion wird eine neue Basis für die Fernsteuerung von Robotersystemen schaffen und es ermöglichen, die Grenzen zwischen Roboter und Bediener virtuell aufzulösen und damit die kognitiven Fähigkeiten des Menschen mit der Robustheit der Robotersysteme zusammenzuführen. Die Leistungsfähigkeit des Ansatzes wird anhand einer komplexen Manipulationsaufgabe evaluiert.

Die Erfahrungen mit bisherigen Teleoperationsumgebungen haben gezeigt, dass sowohl die perzeptiven als auch die motorischen Belastungen der Operatoren sehr hoch sind. Dies hat zum Beispiel zur Folge, dass Warnhinweise des Systems von den Operatoren oft nicht rechtzeitig wahrgenommen werden und mit zunehmender Einsatzdauer ihre Fehlerrate zunimmt. Daher muss die angestrebte wechselseitige Kontrolle des Operators und des VI-Bot Interface direkt, zuverlässig, schnell sowie höchst abgestimmt erfolgen. Durch Nutzung des zu entwickelnden adaptiven "Brain Reading"-Interface (aBRI) soll das VI-Bot-System in der Lage sein, sowohl festzustellen, ob der Operator eine ihm präsentierte Meldung wahrgenommen hat, als auch Aktionen des Operators vorherzusagen, um so das System auf diese vorzubereiten.

VI-Bot ist das erste Projekt seiner Art, welches Ansätze aus den Bereichen der Robotik, Neurowissenschaften und der Mensch-Maschine Kommunikation in einem Gesamtsystem integriert und dabei die Herausforderung annimmt, die bislang größtenteils theoretischen Ansätze in sehr realistischen und anwendungsnahen Szenarien umzusetzen. Die diesbezüglich herausragenden Elemente sind:

  • Neuartiges Exoskelett basierend auf intelligenten Gelenkmodulen mit integrierter passiver Sicherheit.
  • Erstmalig adaptive handlungsprädizierende Benutzerbeobachtung durch online-EEG-Analyse.
  • Umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen.

Videos

VI-Bot: Virtuelle Immersion

Virtuelle Immersion für ganzheitliche Regelung von teilautonomen Roboter.

VI-Bot: Aktives Exoskelett

Teleoperation mit dem Aktiven Exoskelett

VI-Bot: Finales aktives Exoskelett

Teleoperation mit dem finalen aktiven Exoskelett.

VI-Bot: Passives Exoskelett

Teleoperation mit dem Passiven Exoskelett.

Exoskelett und Steuerung der Teleoperation

Im VI-Bot Projekt wird sowohl im Bereich Hardware als auch im Bereich Software der Stand der Technik aufgenommen und weiterentwickelt: Das haptische Nutzerinferface Exoskelett und die Kontrollalgorithmen, um, erstens, das Exoskelett im Zusammenspiel mit einem menschlichen Operator zu steuern, und, zweitens, um die Teleoperation eines robotischen Zielsystems durchzuführen, werden technisches Neuland beschreiten.

Das Design des Exoskeletts basiert auf der Anatomie des menschlichen Armes. Es soll tragbar, leicht und einfach an verschiedene Benutzer anpassbar sein. Seine kinematische Struktur ist so ausgelegt, dass es die Bewegungen des Benutzers möglich wenig einschränkt und gleichzeitig einen hohen Tragekomfort über den gesamten Arbeitsbereich bietet.

Die Regelung des Exoskeletts, die auf einer Kombination von klassischen mit bio-inspirierten Regelungstechniken aufbaut, wird eine eine bessere Harmonisierung mit dem Nervensystem des menschlichen Arms ermöglichen und bietet zusätzlich die Möglichkeit, unterschiedliche Sicherheitsmechanismen in das System zu integrieren. Schließlich wird eine einfache und gleichzeitig intuitive Teleoperation einer breiten Klasse von robotischen Systemen durch die Entwicklung eines allgemeinen Positions- und Kraft-Regelungsalgorithmus ermöglicht.

Direkt zu den Robotersystemseiten:
Aktives Exoskelett
Passives Exoskelett

Hier gelangen Sie zu weiteren Informationen zu dem Exoskelett und der Steuerung der Teleoperation.

aBRI

Quelle: DFKI GmbH

Die aBR-Schnittstelle (aBRI), die Teil des VI-Bot-Systems ist, ist eine hochgradig integrierte Kontrollumgebung, welche die Gehirnaktivität eines Operators in Echtzeit überwacht, um bevorstehende Bewegungen vorherzusagen und um festzustellen, ob der Operator Warnungen aus der Umgebung bewusst verarbeitet hat. Sie ist daher eine entscheidende Komponente des VI-Bot-Systems, welches sowohl mit dem Exoskelett- als auch mit dem Virtuellen-Immersions-Teilsystem interagiert, und erweitert das Gebiet der Mensch-Maschine-Interaktion um den Bereich der mentalen Zustandsüberwachung.

Momentan sind wir in der Lage, spezifische EEG-Aktivität online zu detektieren. Dies erlaubt dem BR-System vorherzusagen, ob Warnungen aus der Umgebung kognitiv verarbeitet wurden. Aktuell arbeiten wir an der Entwicklung von Methoden zur Vorhersage bevorstehender Bewegungen und an der Optimierung des Online-Systems hinsichtlich der Adaptivität.

Lesen Sie hier mehr zu der aBR-Schnittstelle.

Demonstrations Szenario

Gemischte virtuelle und reale Ansicht des Demonstrationszenarios durch einen Operator
Gemischte virtuelle und reale Ansicht des Demonstrationszenarios durch einen Operator (Quelle: DFKI GmbH)

Als Demonstrations- und Evaluationszenario wird ein Tele-Operationsvorgang gewählt, der mehrere typische Elemente einer Fernmanipulation aufweist. Der Zielroboter ist ein sehr flexibler Mitsubishi PA-10 Industrieroboter. Dieser Roboter wird über das Exoskeleton ferngelenkt werden. Er steht in einem Labor und der Operator hat die Aufgabe ein Werkzeug aufzunehmen, dieses an einer Kontur entlang zu führen und danach wieder abzulegen. Der Operator trägt bei diesem Vorgang das Exoskeleton zur Steuerung des Roboters und zur Interaktion mit einer Benutzerschnittstelle, benutzt das HMD zur Beobachtung der Szene mittels einer Kamera und eines 3D Models und trägt die EEG Kappe mit angeschlossenem aBRI zur Überwachung seiner Reaktion. Während des gesamten Vorgangs muss der Operator ausserdem auf Warnmeldungen achten, die ihm in das HMD eingeblendet werden, unddiese gegebenenfalls bestätigen.

Dieses Szenario bildet alle Kernkomponenten von VI-Bot ab. Der Operator kann durch das Exoskeleton den Roboter intuitiv an die Aufgabe heranführen und sie mit einem "Vor-Ort" Gefühl ausführen. Er wird dabei durch das aBRI System überwacht und somit kann überprüft werden, ob er eine der Warnungen übersehen hat oder sie bewusst ignoriert weil er gerade in einer kritischen Phase der Manipulation ist. Darüber hinaus wird die haptische Rückkopplung des Exoskeletons durch das aBRI unterstützt und damit eine feinfühliger Manipulation ermöglicht. Sämtliche Teilkomponenten des Szenarios können einzeln deaktiviert werden, um eine Evaluation der Leistung zu ermöglichen.

Das Demoszenario wird im Oktober 2010 implementiert werden und im letzten Quartal des Projektes evaluiert werden.

Publikationen

2018


2014


2013


2012


2011


2010


2009


Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 18.06.2018
nach oben