IMMI

Im Gegensatz zu klassischen Brain Computer Interfaces (BCI) liegt der Schwerpunkt bei Brain Reading (BR) Systemen auf der ablenkungsfreien Beobachtung des Operators. Im Vordergrund steht also nicht die Steuerung von Systemen wie Robotern oder Prothesen mittels Gedanken, sondern vielmehr die passive Beobachtung des Operators. Das BR-System liest Gehirnaktivität, indem es spezifische Änderungen von Gehirnströmen detektiert und interpretiert. Diese Änderungen können z.B. Aussagen über den Stand der Verarbeitung von präsentierter Information erlauben. Das Steuerungssystem erhält dadurch wichtige Informationen, um situationsadäquat und proaktiv zu agieren. So werden Telemanipulationsaufgaben effektiver und intuitiver für den Operator. Andererseits geht von einer Fehlinterpretation der Gehirnaktivität, anders als bei BCIs, keine Gefährdung für das Gesamtszenario aus, da kein System direkt gesteuert wird.

Bei der Vision vom adaptiven BR (aBR) passen sich die Systeme selbstständig an eine sich ändernde Umgebung, wechselnde Benutzer und Szenarien an. Dadurch wird eine größtmögliche Einsatzfähigkeit in der Praxis gewährleistet. Echtzeitfähiges aBR könnte eingesetzt werden, um eine neuartige Generation von Mensch-Maschine-Schnittstellen zu entwickeln. Hierbei ergibt sich eine Vielzahl neuer Anwendungen in der Raumfahrt, etwa bei der Leitung teilautonomer Systeme für Explorationsmissionen, bei Wartungsaufgaben auf Raumstationen sowie bei Manipulationsaufgaben allgemein, wie z.B. bei der Installation und Durchführung von Experimenten innerhalb und außerhalb der ISS.

Mobiles Brain-Reading-System (MBRS)

Um die Gehirnaktivitäten analysieren zu können, muss eine Vielzahl an komplizierten mathematischen Verfahren angewendet werden. Daher ist eine große Rechenleistung notwendig, wenn die aus der Gehirnaktivität gewonnenen Informationen in Echtzeit zur Verfügung stehen sollen. Gleichzeitig ist es unerlässlich, dass der Operator möglichst wenig eingeschränkt wird und sich frei bewegen kann - es können also keine großen Rechner für diese Berechnungen eingesetzt werden.

Daher wird in IMMI ein mobiles Brain-Reading-System (MBRS) entwickelt, welches diese Aufgabe übernimmt. Das MBRS besteht insbesondere aus einer Kombination einer normalen CPU mit einem FPGA. In dem FPGA können anwendungsspezifische Hardwarebeschleuniger die Verarbeitung der EEG-Daten besonders effizient und in Echtzeit durchführen. Dadurch kann eine größere Rechenleistung erreicht werden, als dies mit einem normalen Prozessor in dieser Größe möglich wäre.

Framework reSPACE (reconfigurable Signal Processing And Classification Environment)

Um die Hardwarebeschleuniger implementieren zu können, wird in IMMI das Framework reSPACE (reconfigurable Signal Processing And Classification Environment) entwickelt. Mit reSPACE können anhand einer modellbasierten Entwicklungsmethode spezielle Hardwarebeschleuniger nach dem Baukastenprinzip erstellt werden. Die Hardwarebeschleuniger arbeiten nach dem Datenflussparadigma und können die Daten vollständig unabhängig von der CPU verarbeiten.

Für die Umsetzung des Projektes IMMI arbeiten Forscher aus den Bereichen Neurowissenschaften, Informatik, Mathematik, Physik und Elektrotechnik intensiv zusammen. Das Projekt gliedert sich in fünf Arbeitspakete, deren Aufgaben wie folgt grob beschrieben werden können:
AP1000: Projektmanagement;
AP2000: Neurobiologische Methoden und Studien zur Zustandsprognose beim Menschen;
AP3000: EEG-Analyse mittels maschineller Lernverfahren;
AP4000: Entwicklung eines mobilen BR-Systems;
AP5000: Integration und Test des mobilen BR-Systems in einem Anwendungsszenario.

Bei der Analyse von EEG-Daten mittels maschineller Lernverfahren (AP3000) werden neue Methoden zur Verarbeitung entwickelt und mit bestehenden Algorithmen verglichen. Hierbei müssen zusätzlich Hyperparameter der Methoden optimiert und mehrere Datensätze verarbeitet werden. Für die Vereinfachung der Verarbeitung und zur Parallelisierung wird die Open-Source Software pySPACE weiterentwickelt. Mit dieser können die Spezifikationen komplexer Verarbeitungsketten zwischen den Wissenschaftlern ausgetauscht werden und es kann eine schnelle Berechnung auf einem High-Performance-Cluster erfolgen.