VI-Bot

Virtual Immersion for holistic feedback control of semi-autonomous robots

VI-Bot integriert Ansätze aus Robotik, Neurowissenschaften und Mensch-Maschine Kommunikation in einem innovativen System zur Fernsteuerung von Robotersystemen. Durch den Aufbau eines neuartigen Exoskeletts mit integrierter passiver Sicherheit, die Verwendung einer adaptiven handlungsprädizierenden Benutzerbeobachtung durch online-EEG-Analyse und die umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen kann dem Operator ein Gefühl "vor Ort“ bei der Telemanipulation vermittelt werden.

Laufzeit: 01.01.2008 bis 31.12.2010
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH
Fördergeber: Bundesministerium für Bildung und Forschung
Förderkennzeichen: Gefördert durch das Bundesministerium für Bildung und Forschung, Förderkennzeichen 01IW07003
Anwendungsfelder: Unterwasserrobotik
Assistenz- und Rehabilitationssysteme
Verwandte Projekte: CManipulator
Autonome Dual-Arm Manipulation für Inspektion und Wartung in der Tiefsee (09.2006- 09.2009)
Labyrinth 1
Entwicklung von Lernarchitekturen und Experimente im Bereich senso-motorisches Lernen (06.2007- 12.2007)
Labyrinth 2
Einrichtung als Testbed für Lernarchitekturen und EEG/ fMRI- Untersuchungen (01.2008- 01.2009)
Verwandte Robotersysteme: Dual Arm Exoskeleton
Exoskeleton for upper body robotic assistance (Recupera REHA)
Full Body Exoskeleton
Exoskeleton for upper body robotic assistance
Exoskeleton active (CAPIO)
Capio Upper Body Exoskeleton for Teleoperation
BRIO Labyrinth
Testbed for the development of learning architectures
Exoskeleton Passive (VI-Bot)
Upper body exoskeleton (right arm) for motion capturing
Exoskeleton Active (VI-Bot)
Upper body Exoskeleton (right arm)
Aktives Zweiarm-Exoskelett
Zweiarmiges Exoskelett für die robotische Oberkörper-Assistenz (Recupera REHA)
Ganzkörperexoskelett
Exoskelett für die robotische Oberkörper-Assistenz
BRIO Labyrinth
Testbed für die Entwicklung von Lernarchitekturen
Exoskelett aktiv (CAPIO)
Capio Oberkörper-Exoskelett für die Teleoperation
Exoskelett Aktiv (VI-Bot)
Exoskelett für den menschlichen Oberkörper (rechter Arm)
Exoskelett Passiv (VI-Bot)
Passives Exoskelett für den menschlichen Oberkörper (rechter Arm)
Verwandte Software: pySPACE
Signal Processing and Classification Environment written in Python
MARS
Machina Arte Robotum Simulans
CAD-2-SIM
Computer Aided Design To Simulation
CAD-2-SIM
Computer Aided Design To Simulation
MARS
Machina Arte Robotum Simulans
pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python

Projektdetails

Übersicht des Zusammenspiels der Komponenten im VI-Bot Projekt. Zu sehen ist das Zusammenspiel zwischen Exoskelett, Visualisierung und aBRI sowie die beiden Demonstrationsszenarien (Quelle: DFKI GmbH)
Das Schema des Mapping Systems um die Freiheitsgrade des Exoskeletts an die Bewegungsmöglichkeiten des Zielsystems für den Operator transparent anzupassen. (Quelle: DFKI GmbH)

Mobile Robotersysteme und ihre Einsatzfelder werden zunehmend komplexer. Diese Komplexität hat einen Grad erreicht, der sowohl eine direkte Steuerung durch einen Bediener als auch eine Steuerung durch eine dem neuesten Stand der Technik entsprechende KI sehr unökonomisch werden lässt. VI-Bot hat zum Ziel, die Steuerung eines solch komplexen Robotersystems durch einen einzelnen Bediener möglich zu machen. Das Zusammenspiel eines sicheren Exoskeletts, einer adaptiven Benutzerbeobachtung und einer robusten multi-modalen Benutzerschnittstelle soll dem Bediener eines semi-autonomen Robotersystems den Eindruck vermitteln, sich direkt vor Ort zu befinden. Diese Form der virtuellen Immersion wird eine neue Basis für die Fernsteuerung von Robotersystemen schaffen und es ermöglichen, die Grenzen zwischen Roboter und Bediener virtuell aufzulösen und damit die kognitiven Fähigkeiten des Menschen mit der Robustheit der Robotersysteme zusammenzuführen. Die Leistungsfähigkeit des Ansatzes wird anhand einer komplexen Manipulationsaufgabe evaluiert.

Die Erfahrungen mit bisherigen Teleoperationsumgebungen haben gezeigt, dass sowohl die perzeptiven als auch die motorischen Belastungen der Operatoren sehr hoch sind. Dies hat zum Beispiel zur Folge, dass Warnhinweise des Systems von den Operatoren oft nicht rechtzeitig wahrgenommen werden und mit zunehmender Einsatzdauer ihre Fehlerrate zunimmt. Daher muss die angestrebte wechselseitige Kontrolle des Operators und des VI-Bot Interface direkt, zuverlässig, schnell sowie höchst abgestimmt erfolgen. Durch Nutzung des zu entwickelnden adaptiven "Brain Reading"-Interface (aBRI) soll das VI-Bot-System in der Lage sein, sowohl festzustellen, ob der Operator eine ihm präsentierte Meldung wahrgenommen hat, als auch Aktionen des Operators vorherzusagen, um so das System auf diese vorzubereiten.

VI-Bot ist das erste Projekt seiner Art, welches Ansätze aus den Bereichen der Robotik, Neurowissenschaften und der Mensch-Maschine Kommunikation in einem Gesamtsystem integriert und dabei die Herausforderung annimmt, die bislang größtenteils theoretischen Ansätze in sehr realistischen und anwendungsnahen Szenarien umzusetzen. Die diesbezüglich herausragenden Elemente sind:

  • Neuartiges Exoskelett basierend auf intelligenten Gelenkmodulen mit integrierter passiver Sicherheit.
  • Erstmalig adaptive handlungsprädizierende Benutzerbeobachtung durch online-EEG-Analyse.
  • Umfassende virtuelle Immersion und situative Präsentation von Informationen und Handlungsoptionen.

Videos

VI-Bot: Virtuelle Immersion

Virtuelle Immersion für ganzheitliche Regelung von teilautonomen Roboter.

VI-Bot: Aktives Exoskelett

 

Teleoperation mit dem Aktiven Exoskelett

VI-Bot: Finales aktives Exoskelett

Teleoperation mit dem finalen aktiven Exoskelett.

VI-Bot: Passives Exoskelett

Teleoperation mit dem Passiven Exoskelett.

Exoskelett und Steuerung der Teleoperation

Im VI-Bot Projekt wird sowohl im Bereich Hardware als auch im Bereich Software der Stand der Technik aufgenommen und weiterentwickelt: Das haptische Nutzerinferface Exoskelett und die Kontrollalgorithmen, um, erstens, das Exoskelett im Zusammenspiel mit einem menschlichen Operator zu steuern, und, zweitens, um die Teleoperation eines robotischen Zielsystems durchzuführen, werden technisches Neuland beschreiten.

Das Design des Exoskeletts basiert auf der Anatomie des menschlichen Armes. Es soll tragbar, leicht und einfach an verschiedene Benutzer anpassbar sein. Seine kinematische Struktur ist so ausgelegt, dass es die Bewegungen des Benutzers möglichst wenig einschränkt und gleichzeitig einen hohen Tragekomfort über den gesamten Arbeitsbereich bietet.

Die Regelung des Exoskeletts, die auf einer Kombination von klassischen mit bio-inspirierten Regelungstechniken aufbaut, wird eine eine bessere Harmonisierung mit dem Nervensystem des menschlichen Arms ermöglichen und bietet zusätzlich die Möglichkeit, unterschiedliche Sicherheitsmechanismen in das System zu integrieren. Schließlich wird eine einfache und gleichzeitig intuitive Teleoperation einer breiten Klasse von robotischen Systemen durch die Entwicklung eines allgemeinen Positions- und Kraft-Regelungsalgorithmus ermöglicht.

Direkt zu den Robotersystemseiten:
Aktives Exoskelett
Passives Exoskelett

Hier gelangen Sie zu weiteren Informationen zu dem Exoskelett und der Steuerung der Teleoperation.

aBRI

Die aBR-Schnittstelle (aBRI), die Teil des VI-Bot-Systems ist, ist eine hochgradig integrierte Kontrollumgebung, welche die Gehirnaktivität eines Operators in Echtzeit überwacht, um bevorstehende Bewegungen vorherzusagen und um festzustellen, ob der Operator Warnungen aus der Umgebung bewusst verarbeitet hat. Sie ist daher eine entscheidende Komponente des VI-Bot-Systems, welches sowohl mit dem Exoskelett- als auch mit dem Virtuellen-Immersions-Teilsystem interagiert, und erweitert das Gebiet der Mensch-Maschine-Interaktion um den Bereich der mentalen Zustandsüberwachung.

Momentan sind wir in der Lage, spezifische EEG-Aktivität online zu detektieren. Dies erlaubt dem BR-System vorherzusagen, ob Warnungen aus der Umgebung kognitiv verarbeitet wurden. Aktuell arbeiten wir an der Entwicklung von Methoden zur Vorhersage bevorstehender Bewegungen und an der Optimierung des Online-Systems hinsichtlich der Adaptivität.

Lesen Sie hier mehr zu der aBR-Schnittstelle.

Demonstrations-Szenario

Als Demonstrations- und Evaluationszenario wird ein Tele-Operationsvorgang gewählt, der mehrere typische Elemente einer Fernmanipulation aufweist. Der Zielroboter ist ein sehr flexibler Mitsubishi PA-10 Industrieroboter. Dieser Roboter wird über das Exoskeleton ferngelenkt werden. Er steht in einem Labor und der Operator hat die Aufgabe ein Werkzeug aufzunehmen, dieses an einer Kontur entlang zu führen und danach wieder abzulegen. Der Operator trägt bei diesem Vorgang das Exoskeleton zur Steuerung des Roboters und zur Interaktion mit einer Benutzerschnittstelle, benutzt das HMD zur Beobachtung der Szene mittels einer Kamera und eines 3D Models und trägt die EEG Kappe mit angeschlossenem aBRI zur Überwachung seiner Reaktion. Während des gesamten Vorgangs muss der Operator ausserdem auf Warnmeldungen achten, die ihm in das HMD eingeblendet werden, und diese gegebenenfalls bestätigen.

Dieses Szenario bildet alle Kernkomponenten von VI-Bot ab. Der Operator kann durch das Exoskeleton den Roboter intuitiv an die Aufgabe heranführen und sie mit einem "Vor-Ort" Gefühl ausführen. Er wird dabei durch das aBRI System überwacht und somit kann überprüft werden, ob er eine der Warnungen übersehen hat oder sie bewusst ignoriert weil er gerade in einer kritischen Phase der Manipulation ist. Darüber hinaus wird die haptische Rückkopplung des Exoskeletons durch das aBRI unterstützt und damit eine feinfühliger Manipulation ermöglicht. Sämtliche Teilkomponenten des Szenarios können einzeln deaktiviert werden, um eine Evaluation der Leistung zu ermöglichen.

Das Demoszenario wird im Oktober 2010 implementiert werden und im letzten Quartal des Projektes evaluiert werden.

Publikationen

2019

Transfer approach for the detection of missed task-relevant events in P300-based brain-computer interfaces
Elsa Andrea Kirchner, Su-Kyoung Kim
In Proceedings in the 9th International IEEE EMBS Conference On Neural Engineering (NER’19), (NER-2019), 20.3.-23.3.2019, San Francisco, CA, IEEE Xplore, pages 134-138, 2019.
Embedded Multimodal Interfaces in Robotics: Applications, Future Trends, and Societal Implications
Elsa Andrea Kirchner, Stephen Fairclough, Frank Kirchner
Editors: S. Oviatt, B. Schuller, P. Cohen, D. Sonntag, G. Potamianos, A. Krueger
In The Handbook of Multimodal-Multisensor Interfaces, Morgan & Claypool Publishers, volume 3, chapter 13, pages 523-576, 2019. ISBN: e-book: 978-1-97000-173-0, hardcover: 978-1-97000-175-4, paperback: 978-1-97000-172-3, ePub: 978-1-97000-174-7.

2018

Multi-tasking and Choice of Training Data Influencing Parietal ERP Expression and Single-trial Detection - Relevance for Neuroscience and Clinical Applications
Elsa Andrea Kirchner, Su-Kyoung Kim
Editors: Mikhail Lebedev
In Frontiers in Neuroscience, n.a., volume 12, pages n.a., Mar/2018.

2014

Online Detection of P300 related Target Recognition Processes During a Demanding Teleoperation Task
Hendrik Wöhrle, Elsa Andrea Kirchner
In Proceedings of the International Conference on Physiological Computing Systems, (PHYCS-14), 07.1.-09.1.2014, Lissabon, Scitepress Digital Library, Jan/2014.

2013

Online Movement Prediction in a Robotic Application Scenario
Anett Seeland, Hendrik Wöhrle, Sirko Straube, Elsa Andrea Kirchner
In Proceedings of the 6th International IEEE EMBS Conference on Neural Engineering, (NER-2013), 06.11.-08.11.2013, San Diego, CA, o.A., pages 41-44, Nov/2013.

2012

Sheth-Uicker Convention Revisited -- A Normal Form for Specifying Mechanisms
Bertold Bongardt
series DFKI Research Reports, volume 12-01, Jul/2012. Robotics Innovation Center Bremen.
Measuring the Improvement of the Interaction Comfort of a Wearable Exoskeleton
Michele Folgheraiter, Mathias Jordan, Sirko Straube, Anett Seeland, Su-Kyoung Kim, Elsa Andrea Kirchner
In International Journal of Social Robotics, Springer Netherlands, volume 4, number 3, pages 285-302, Mar/2012.

2011

CAD-2-SIM - Kinematic Modeling of Mechanisms Based on the Sheth-Uicker Convention
Bertold Bongardt
Editors: Honghai Liu, Sabina Jeschke, Daniel Schilberg
In Proceedings of the 4th International Conference, (ICIRA-11), 06.12.-08.12.2011, Aachen, Springer, volume Part I, pages 465-477, Dec/2011. ISBN: 978-3-642-25485-7.
Choosing an Appropriate Performance Measure: Classification of EEG-Data with Varying Class Distribution
Sirko Straube, Jan Hendrik Metzen, Anett Seeland, Mario Michael Krell, Elsa Andrea Kirchner
In Proceedings of the 41st Meeting of the Society for Neuroscience 2011, (Neuroscience-2011), 12.11.-16.11.2011, Washington, DC, o.A., Nov/2011.
Minimizing Calibration Time for Brain Reading
Jan Hendrik Metzen, Su-Kyoung Kim, Elsa Andrea Kirchner
In Proceedings of the 33rd Annual Symposium of the German Association for Pattern Recognition, (DAGM-11), 30.8.-02.9.2011, Frankfurt / Main, o.A., pages 366-375, Sep/2011. ISBN: 978-3-642-23122-3.
On Transferring Spatial Filters in a Brain Reading Scenario
Jan Hendrik Metzen, Su-Kyoung Kim, Timo Duchrow, Elsa Andrea Kirchner, Frank Kirchner
In Proceedings of the 2011 IEEE Workshop on Statistical Signal Processing, (SSP-2011), 28.6.-30.6.2011, Nice, o.A., pages 797-800, Jun/2011. ISBN: 978-1-4577-0569-4.
A multimodal brain-arm interface for operation of complex robotic systems and upper limb motor recovery
Michele Folgheraiter, Elsa Andrea Kirchner, Anett Seeland, Su-Kyoung Kim, Mathias Jordan, Hendrik Wöhrle, Bertold Bongardt, Steffen Schmidt, Jan Albiez, Frank Kirchner
In Proceedings of the International Conference on Biomedical Electronics and Devices, (BIODEVICES-11), 26.1.-29.1.2011, Rome, o.A., pages 150-162, Jan/2011. ISBN: 978-989-8425-37-9.

2010

Towards Operator Monitoring via Brain Reading - An EEG-based Approach for Space Applications
Elsa Andrea Kirchner, Hendrik Wöhrle, Constantin Bergatt, Su-Kyoung Kim, Jan Hendrik Metzen, David Feess, Frank Kirchner
In Proceedings of the 10th International Symposium on Artificial Intelligence, Robotics and Automation in Space, (iSAIRAS-10), 29.8.-01.9.2010, Sapparo, o.A., pages 448-455, Sep/2010.

2009

Assisting Telemanipulation Operators via Real-Time Brain Reading
Elsa Andrea Kirchner, Jan Hendrik Metzen, Timo Duchrow, Su-Kyoung Kim, Frank Kirchner
Editors: Volker Lohweg, Oliver Niggemann
In KI 2009 Workshop, (KI-2009), 15.9.2009, Paderborn, o.A., series Lemgoer Schriftenreihe zur industriellen Informationstechnik, Sep/2009. ISBN: 1869-2087.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 04.01.2024
nach oben