EXPECT

Exploring the Potential of Pervasive Embedded Brain Reading in Human Robot Collaborations

Wissenschaftliche/r Leiter/in:
 
Projektleiter/in:
Dr. rer. nat. Elsa Kirchner
Maurice Rekrut (COS)
 
Ansprechpartner/in:

Das Hauptziel des Projekts EXPECT ist die Entwicklung einer adaptiven, selbstlernenden Interaktionsplattform für Mensch-Roboter-Kollaboration, die nicht nur explizite multimodale Interaktion ermöglicht, sondern auch in der Lage ist menschliche Intentionen abzuleiten, die für implizite Interaktion oder zur Optimierung von expliziter Interaktion genutzt werden können. Es werden Methoden zur automatisierten Kennzeichnung und gemeinsamen Auswertung von multimodalen Daten des Menschen entwickelt und in Testszenarien evaluiert. Die systematischen Experimente dienen auch der Untersuchungen der Frage wie grundlegend bedeutsam Gehirndaten zur Intentionsvorhersage beim Menschen sind. Ergebnisse werden in anwendungsnahen Demonstrations-szenarien präsentiert.

Laufzeit: 01.06.2020 bis 31.05.2024
Zuwendungsempfänger: DFKI GmbH
Fördergeber: Bundesministerium für Bildung und Forschung
Anwendungsfelder: Assistenz- und Rehabilitationssysteme
Logistik, Produktion und Consumer
Weltraumrobotik
Verwandte Projekte: TransFIT
Flexible Interaktion für Infrastrukturaufbau mittels Teleoperation und direkte Kollaboration und Transfer in Industrie 4.0 (07.2017- 06.2021)
BesMan
Behaviors for Mobile Manipulation (05.2012- 07.2016)
IMMI
Intelligentes Mensch-Maschine-Interface - Adaptives Brain-Reading für unterstützende Robotik (05.2010- 04.2015)
Recupera REHA
Ganzkörper Exoskelett für die robotische Oberkörper-Assistenz (09.2014- 12.2017)
TransTerrA
Semi-autonome kooperative Exploration planetarer Oberflächen mit Errichtung einer logistischen Kette sowie Betrachtung terrestrischer Anwendbarkeit einzelner Aspekte (05.2013- 12.2017)
Verwandte Robotersysteme: Ganzkörperexoskelett
Exoskelett für die robotische Oberkörper-Assistenz
Verwandte Software: pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python
reSPACE
Reconfigurable Signal Processing and Classification Environment
BOLeRo
Behavior Optimization and Learning for Robots

Projektdetails

Abb. 1: Multimodaler Input von einem Menschen in einem realen MRK-Szenario wird durch Machine Learning Verfahren in explizite und implizite Interaktionskonzepte für einen Roboter um- gewandelt. (Abb: Maurice Rekrut, DFKI GmbH)
Abb. 2: Anwendunsgsszenario Rehabilitation: Serious Gaming zur Rehabilitation nach Schlaganfall (DFKI GmbH)
Abb. 3: Anwendunsgsszenario Weltraum: Multimodale Mensch-Roboter Kollaboration zum gemeinsamen Infrastrukturaufbau (DFKI GmbH)

Die Notwendigkeit der Integration von robotischen Systemen in die Arbeitsumgebung in diversen Branchen wird über die nächsten Jahre stetig wachsen und eine Zusammenarbeit von Mensch und Roboter wird so unumgänglich. Das vorgeschlagene Vorhaben EXPECT wird grundlegende Anforderungen und Lösungen zur Integration von Gehirnaktivität zur Verbesserung der Mensch-Roboter-Interaktion in realen Arbeits-umgebungen liefern und damit direkten positiven Einfluss auf die verstärkt auftretende Kollaboration von Mensch und Roboter in der Arbeitswelt nehmen. Die entwickelte Technologie soll diese Zusammenarbeit zwischen Mensch und Maschine natürlicher gestalten und wird neben der Akzeptanz des menschlichen Kooperationspartners seinem robotischen Kollegen gegenüber auch die Produktivität des kollaborierenden Teams steigern.

In EXPECT soll aus zwei Gründen eine Kombination aus multimodalem Input, z.B. Biosignale inklusive Gehirnaktivität und kontextuelle Information aus Sprache und Verhalten entwickelt werden, um eine Korrelation zwischen EEG-Daten und offen beobachtbaren Verhalten zu finden:

 1. Um Kontext aus offen beobachtbaren Verhalten zu kreieren und damit EEG-Daten automatisiert
zu Trainingssets zu labeln um Modelle zur Intentionserkennung zu implementieren.

 2. Um zu evaluieren, ob reine offen beobachtbare Daten genügen, um Intentionserkennung basierend
auf diesen automatisch generierten Modellen von EEG-Daten zu realisieren. Zusammengefasst soll als Hauptziel des Projekts EXPECT eine adaptive, selbstlernende Interaktionsplattform für MRK geschaffen werden, die nicht nur explizite multimodale Interaktion ermöglicht, sondern auch in der Lage ist menschliche Intentionen abzuleiten, die für implizite Interaktion oder zur Optimierung von expliziter Interaktion genutzt werden können (siehe Abbildung 1).

EXPECT wird dabei folgende wissenschaftliche Beiträge leisten:
•    Der Analyse von Gehirnsignalen in realitätsnahen Anwendungen zum Durchbruch verhelfen und dadurch die Nutzbarkeit von EEG-Signalen unter weniger restriktiven Bedingungen zu ermöglichen, z.B. im indus-triellen Setting, der Raumfahrt oder der Rehabilitation.
•    Richtlinien und Normen für EEG-unterstützte MRK zu erstellen für die zukünftige Integration dieser Technologie in realitätsnahe Anwendungsszenarien.
•    Tiefere Einblicke und Wissen bezüglich des Beitrags von multimodalen menschlichen Daten für Intentions-erkennung zu gewinnen, um mehr über die Zusammenhänge zwischen EEG-Daten und beobachtbaren menschlichen Verhalten zu lernen.
•    EEG-Daten in multimodale Dialogplattformen als Input für explizite und implizite Interaktion zu integrieren.

Um die in EXPECT untersuchten Ansätze sowohl in Testszenarien als auch in anwendungsnahen Szenarien zu entwickeln und zu testen, haben die Gruppe Cognitive Assistants (COS) am DFKI in Saarbrücken und das Robotics Innovation Center (RIC) in Bremen einen einzigartigen Ausgangspunkt für die Erforschung von Hirnsignalen und Robotersystemen, da sie leichten Zugang zu bestehenden anwendungsnahen Laboren ("Living Labs"), Testeinrichtungen und Robotern in ihrer unmittelbaren Nachbarschaft haben:

(1) Mit dem MRK-Labor MRK4.0 verfügt das DFKI über ein industrienahes Prüffeld mit über 20 Robotern unterschiedlicher Marken und mit unterschiedlichen Fähigkeiten, Formfaktoren und Betriebssystemen. Sechs Hauptdemonstratoren veranschaulichen unterschiedliche Konzepte der MRK mit dem Schwerpunkt auf natürlicher Interaktion und Sicherheit in diesem Bereich. Das Labor befindet sich in einem ehemaligen Fabrikgebäude in Saarbrücken und ist Teil des Forschungszentrums Power4Production, das eine Kooperation des DFKI und des Zentrums für Mechatronik und Automation (ZeMA) ist.

(2) Das DFKI RIC konzentriert sich auf den Entwurf, die Konstruktion und die Programmierung von autonomen Robotern für viele Anwendungsbereiche, wie z.B. Raumfahrt, Maritime Anwendungen, Produktion, Erkundung und Rettung und Gesundheit. Obwohl der Fokus auf autonomes Verhalten liegt, ist immer die Interaktion mit dem Menschen erforderlich. Für natürliches MRK werden Ansätze des maschinellen Lernens angewandt. Diese neuen und innovativen Ansätze werden vom Team "Interaktives maschinelles Lernen" entwickelt. (https://robotik.dfki-bremen.de/de/forschung/teams/interactive-machine-learning.html)

Zur Erfassung psychophysiologischer Daten des Menschen stehen in der gut ausgestatteten Forschungs-einrichtung "brain behavioral integration rooms" eine EEG-Abschirmkabine, eine Mini-Cave-Installation fur virtuelle Szenarien, ein spezialisierter Analyseraum und der Recupera-Integrationsraum mit verschiedenen Exoskelettsystemen zur Teleoperation und Bewegungsaufzeichnung zur Verfügung.

Die Ergebnisse der Vorhaben sollen final in den anwendungsnahen Demonstrationsszenarien Industrie 4.0, Rehabilitation (Abb. 2) und Weltraum (Abb. 3) demonstriert werden.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 11.06.2020
nach oben