IMMI

Intelligentes Mensch-Maschine-Interface - Adaptives Brain-Reading für unterstützende Robotik

IMMI in Kombination mit Exoskelett zur Rehabilitation oder Teleoperation (Foto: DFKI GmbH)
IMMI in Kombination mit Exoskelett zur Rehabilitation oder Teleoperation (Foto: DFKI GmbH)
Wissenschaftliche/r Leiter/in:
 
Projektleiter/in:
 
Ansprechpartner/in:

Im Rahmen des Projektes ”IMMI“ sollen Schlüsseltechnologien entwickelt werden, die echtzeitfähiges und adaptives ”Brain-Reading“(BR) ermöglichen sollen. BR bezeichnet die Analyse von Gehirnaktivität zum Zwecke einer Zustands- und Verhaltensvorhersage beim Menschen.

Laufzeit: 15.05.2010 bis 30.04.2015
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH & Universität Bremen
Fördergeber: Bundesministerium für Wirtschaft und Technologie
Deutsches Zentrum für Luft- und Raumfahrt e.V.
Förderkennzeichen: Gefördert von der Raumfahrt-Agentur des Deutschen Zentrums für Luft- und Raumfahrt e.V. mit Mitteln des Bundesministeriums für Wirtschaft und Technologie aufgrund eines Beschlusses des Deutschen Bundestages unter dem Förderkennzeichen 50 RA 1011 (Universität Bremen) und 50 RA 1012 (DFKI).
Partner: Universität Bremen
Anwendungsfelder: Weltraumrobotik
Verwandte Projekte: VI-Bot
Virtual Immersion for holistic feedback control of semi-autonomous robots (01.2008- 12.2010)
Labyrinth 1
Entwicklung von Lernarchitekturen und Experimente im Bereich senso-motorisches Lernen (06.2007- 12.2007)
Labyrinth 2
Einrichtung als Testbed für Lernarchitekturen und EEG/ fMRI- Untersuchungen (01.2008- 01.2009)
Verwandte Robotersysteme: Ganzkörperexoskelett
Exoskelett für die robotische Oberkörper-Assistenz
Aktives Zweiarm-Exoskelett
Zweiarmiges Exoskelett für die robotische Oberkörper-Assistenz (Recupera REHA)
Verwandte Software: MARS
Machina Arte Robotum Simulans
pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python
reSPACE
Reconfigurable Signal Processing and Classification Environment

Projektdetails

Operator nutzt IMMI um Roboterteams im All fernzusteuern (Foto: DFKI GmbH)
Ein mobiles Gerät übernimmt die gesamte Signalverarbeitung (Quelle: DFKI GmbH)

Im Gegensatz zu klassischen Brain Computer Interfaces (BCI) liegt der Schwerpunkt bei Brain Reading (BR) Systemen auf der ablenkungsfreien Beobachtung des Operators. Im Vordergrund steht also nicht die Steuerung von Systemen wie Robotern oder Prothesen mittels Gedanken, sondern vielmehr die passive Beobachtung des Operators. Das BR-System liest Gehirnaktivität, indem es spezifische Änderungen von Gehirnströmen detektiert und interpretiert. Diese Änderungen können z.B. Aussagen über den Stand der Verarbeitung von präsentierter Information erlauben. Das Steuerungssystem erhält dadurch wichtige Informationen, um situationsadäquat und proaktiv zu agieren. So werden Telemanipulationsaufgaben effektiver und intuitiver für den Operator. Andererseits geht von einer Fehlinterpretation der Gehirnaktivität, anders als bei BCIs, keine Gefährdung für das Gesamtszenario aus, da kein System direkt gesteuert wird.

Bei der Vision vom adaptiven BR (aBR) passen sich die Systeme selbstständig an eine sich ändernde Umgebung, wechselnde Benutzer und Szenarien an. Dadurch wird eine größtmögliche Einsatzfähigkeit in der Praxis gewährleistet. Echtzeitfähiges aBR könnte eingesetzt werden, um eine neuartige Generation von Mensch-Maschine-Schnittstellen zu entwickeln. Hierbei ergibt sich eine Vielzahl neuer Anwendungen in der Raumfahrt, etwa bei der Leitung teilautonomer Systeme für Explorationsmissionen, bei Wartungsaufgaben auf Raumstationen sowie bei Manipulationsaufgaben allgemein, wie z.B. bei der Installation und Durchführung von Experimenten innerhalb und außerhalb der ISS.

Mobiles Brain-Reading-System (MBRS)

Um die Gehirnaktivitäten analysieren zu können, muss eine Vielzahl an komplizierten mathematischen Verfahren angewendet werden. Daher ist eine große Rechenleistung notwendig, wenn die aus der Gehirnaktivität gewonnenen Informationen in Echtzeit zur Verfügung stehen sollen. Gleichzeitig ist es unerlässlich, dass der Operator möglichst wenig eingeschränkt wird und sich frei bewegen kann - es können also keine großen Rechner für diese Berechnungen eingesetzt werden.

Daher wird in IMMI ein mobiles Brain-Reading-System (MBRS) entwickelt, welches diese Aufgabe übernimmt. Das MBRS besteht insbesondere aus einer Kombination einer normalen CPU mit einem FPGA. In dem FPGA können anwendungsspezifische Hardwarebeschleuniger die Verarbeitung der EEG-Daten besonders effizient und in Echtzeit durchführen. Dadurch kann eine größere Rechenleistung erreicht werden, als dies mit einem normalen Prozessor in dieser Größe möglich wäre.

Framework reSPACE (reconfigurable Signal Processing And Classification Environment)

Um die Hardwarebeschleuniger implementieren zu können, wird in IMMI das Framework reSPACE (reconfigurable Signal Processing And Classification Environment) entwickelt. Mit reSPACE können anhand einer modellbasierten Entwicklungsmethode spezielle Hardwarebeschleuniger nach dem Baukastenprinzip erstellt werden. Die Hardwarebeschleuniger arbeiten nach dem Datenflussparadigma und können die Daten vollständig unabhängig von der CPU verarbeiten.

Für die Umsetzung des Projektes IMMI arbeiten Forscher aus den Bereichen Neurowissenschaften, Informatik, Mathematik, Physik und Elektrotechnik intensiv zusammen. Das Projekt gliedert sich in fünf Arbeitspakete, deren Aufgaben wie folgt grob beschrieben werden können:
AP1000: Projektmanagement;
AP2000: Neurobiologische Methoden und Studien zur Zustandsprognose beim Menschen;
AP3000: EEG-Analyse mittels maschineller Lernverfahren;
AP4000: Entwicklung eines mobilen BR-Systems;
AP5000: Integration und Test des mobilen BR-Systems in einem Anwendungsszenario.

Bei der Analyse von EEG-Daten mittels maschineller Lernverfahren (AP3000) werden neue Methoden zur Verarbeitung entwickelt und mit bestehenden Algorithmen verglichen. Hierbei müssen zusätzlich Hyperparameter der Methoden optimiert und mehrere Datensätze verarbeitet werden. Für die Vereinfachung der Verarbeitung und zur Parallelisierung wird die Open-Source Software pySPACE weiterentwickelt. Mit dieser können die Spezifikationen komplexer Verarbeitungsketten zwischen den Wissenschaftlern ausgetauscht werden und es kann eine schnelle Berechnung auf einem High-Performance-Cluster erfolgen.

Videos

Intrinsisches interaktives verstärkendes Lernen: Nutzung von Fehler-korrelierten Potentialen

Der Roboter lernt dank menschlichem Negativ-Feedback aus eigenem Fehlverhalten

IMMI: Anpassung einer Mensch-Maschine Schnittstelle für Mehrrobotersteuerung mittels embedded Brain Reading

Das Video zeigt eine Mensch-Maschine Schnittstelle (MMS) für die Steuerung mehrere Roboter.  Die MMS wird durch „embedded Brain Reading“ an die Arbeitsbelastung und das Engagement des Nutzers online angepasst. Die Arbeitsauslastung wird von der Ausprägung der P300 im single-trial abgeleitet. Ein zweite Aufgabe zur Bestimmung der Arbeitsauslastung mittels der P300 Ausprägung nicht nötig.

Capio Exoskelett: Ansteuerung über Biosignale

Demonstration der Ansteuerung des Capio Exoskeletts über Biosignale: Das Exoskelett-System erfasst durch die Verarbeitung von Biosignalen die Bewegungsintention des Operators und führt eine zielgerichtete aktive Bewegung des rechten oder linken Arms aus. Hierbei wird mittels Eye-Tracker der Interaktionswunsch erfasst (Fixierung einer virtuellen Flasche), mittels elektroenzephalographischer Signale (EEG) die Bewegungsintention des linken bzw. rechten Arms ermittelt und durch elektromyographische Signale (EMG) die Bewegungsintention zusätzlich verifiziert.

Ausblick: mögliche Brain Reading Anwendung
Ausblick: mögliche Brain Reading Anwendung (Foto: DFKI GmbH)

Publikationen

2019


2018


2017


2016


2015


2014


2013


2012


2011


2010


Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 20.03.2023
nach oben