aBRI
In Telemanipulationsszenarien sind Kenntnisse über den mentalen Zustand des Operators von Interesse. Um diese zu gewinnen, nutzen wir adaptives Brain Reading (aBR). BR umfasst die externe Überwachung und Online-Analyse von Gehirnaktivität, die durch Elektroenzephalografie (EEG) gemessen wird, mit dem Ziel, Veränderungen, die mit dem mentalen Zustand oder bestimmten Aktivitäten des Operators korrelieren, zu detektieren. Dabei wird keine aktive Teilnahme des Operators benötigt, d.h. aBR beschränkt weder die Aufmerksamkeit noch die mentale Leistungsfähigkeit, die für die Telemanipulationsaufgabe von Nöten ist. Im Teilprojekt aBRI konzentrieren wir uns auf die Analyse von EEG-Daten mittels maschineller Lernverfahren und untersuchen zwei klinisch etablierte ereigniskorrelierte Potenziale (ERPs): das P300-Potenzial für die Erkennung von erfolgreicher Informationsverarbeitung und das LRP (lateralized readiness potential) für die Vorhersage bevorstehender Bewegung (Abbildung 1).
Erkennung von Warnungen:
Bewusst erkannte Stimuli rufen ein ereigniskorreliertes Potenzial hervor, welches P300 genannt wird. Auf der Erkennung dieser Potentiale im EEG basierend, entscheidet das aBRI-System, ob eine präsentierte Information vom Operator erfolgreich verarbeitet wurde oder nicht. Dem System ist es damit möglich adäquat auf die jeweilige Situation zu reagieren, beispielsweise die präsentierte Information erneut zu zeigen, falls der Operator sie nicht bewusst wahrgenommen hat.
Bewegungsvorhersage:
Das aBRI-System wird außerdem genutzt um LRP zu detektieren. LRP signalisiert Vorbereitung von Bewegung vor ihrem tatsächlichen Beginn. Dadurch kann dem System, welches das vom Operator getragene Force-Feedback-Exoskelett kontrolliert, wertvolle Echtzeit-Information zur Verfügung gestellt werden.
Testumgebung:
Um das P300-Potenzial innerhalb eines Anwendungsszenarios zu untersuchen, wurde das Testszenario "Labyrinth Oddball" aufgebaut. Dieses erfordert eine hohe Konzentration, feinmotorische Fähigkeiten und Reaktion auf präsentierte Informationen. Im Testszenario spielt ein Proband das BRIO® Labyrinth-Spiel und muss dazu parallel auf wichtige Informationen, die über einen Monitor dargestellt werden, mit einem Buzzer-Druck reagieren (Abbildung 2 und 3).
Die Testumgebung erlaubt außerdem die Aufnahme von EEG-Daten während der Vorbereitung und Ausführung verschiedener Arten von Bewegungen. Während der Proband das Kugellabyrinth spielt, führt er kontinuierlich feinabgestimmte Handbewegungen aus. Um den Buzzer zu drücken muss hingegen eine Bewegung des gesamten Armes geplant und ausgeführt werden. Neben dem echten Labyrinth-Spiel gibt es auch die Möglichkeit, Probanden in einer Simulation des Spiels, die direkt über die Sensordaten des realen Spiels gesteuert wird, agieren zu lassen. Dieser Aufbau ermöglicht die virtuelle Immersion des Szenarios und so die Untersuchung von EEG-Signalen, welche in einer solchen Situation aufgenommen werden können (Abbildung 4 und 5).
Single-Trial-Verarbeitung von EEG-Daten innerhalb von aBRI:
Eine modulare Software (aBRI-DP) für die Single-Trial-Verarbeitung und -Klassifikation der EEG-Daten wurde entwickelt. Diese erlaubt die flexible Kombination verschiedener Methoden der Signalverarbeitung und des maschinellen Lernens (ML). Seid kurzem existiert eine aBRI-DP Version, die EEG Analyse in Echtzeit und Visualisierung ermöglicht (Abbildung 6).
Ein weiteres Framework (Benchmarking on Rails; BOR) erlaubt die automatische Analyse und Auswertung verschiedener Kombinationen von Vorverarbeitungs- und ML-Methoden bezüglich unterschiedlicher Parametersätze. Dabei werden mehrere Modalitäten unterstützt: so nutzt BOR sowohl Mehrprozessorsysteme als auch Umgebungen für verteiltes Rechnen (z.B. Xgrid).
Videos
aBri: Bewegungsvorhersage für Exoskelett Kontrolle
Das Video zeigt, wie EEG basierte Bewegungsvorhersage sicher die Exoskelett Kontrolle verbessert.
aBri: Erkennung von Warnungen bei Fernbetrieb
Das Video zeigt, wie die Unterstützung eines Operators verbessert werden indem sein Erfolg in seiner Informationsverarbeitung durch Online- EEG-Analyse vorhergesagt wird.