KiMMI-SF

Adaptives Softwareframework für Kontextabhängige intuitive Mensch-Maschine-Interaktion

Im Rahmen des Projektes "KiMMI SF" soll ein Softwareframework für eine flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion entwickelt werden. Dieses soll einerseits eine zur Laufzeit rekonfigurierbare Datenverarbeitung ermöglichen, andererseits sollen Methoden zur kontextabhängigen Auswertung, Selektion und Gewichtung von Datenquellen entwickelt werden.

Laufzeit: 01.06.2020 bis 31.05.2023
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH & Universität Bremen
Fördergeber: Bundesministerium für Wirtschaft und Klimaschutz
Deutsches Zentrum für Luft- und Raumfahrt e.V.
Förderkennzeichen: DFKI: 50RA2021 Uni: 50RA2022
Anwendungsfelder: Weltraumrobotik
Verwandte Projekte: BesMan
Behaviors for Mobile Manipulation (05.2012- 07.2016)
Capio
Dual-Arm-Exoskelett (01.2011- 12.2013)
IMMI
Intelligentes Mensch-Maschine-Interface - Adaptives Brain-Reading für unterstützende Robotik (05.2010- 04.2015)
iMRK
Intelligente Mensch-Roboter-Kollaboration (03.2015- 06.2016)
iStruct
Intelligente Strukturen für mobile Robotersysteme (05.2010- 08.2013)
LIMES
Lernen intelligenter Bewegungen kinematisch komplexer Laufroboter für die Exploration im Weltraum (05.2012- 04.2016)
Moonwalk
Technologies and Human-Robot Collaboration for Surface EVA Exploration Activities and Training in European Analogue Environments (09.2013- 08.2016)
Recupera REHA
Ganzkörper Exoskelett für die robotische Oberkörper-Assistenz (09.2014- 12.2017)
TransTerrA
Semi-autonome kooperative Exploration planetarer Oberflächen mit Errichtung einer logistischen Kette sowie Betrachtung terrestrischer Anwendbarkeit einzelner Aspekte (05.2013- 12.2017)
Q-Rock
Modellbasierte Bestimmung und Validierung von wiederverwendbaren und übertragbaren Roboterverhalten (08.2018- 07.2021)
TransFIT
Flexible Interaktion für Infrastrukturaufbau mittels Teleoperation und direkte Kollaboration und Transfer in Industrie 4.0 (07.2017- 12.2021)
D-Rock
Modelle, Verfahren und Werkzeuge für die Modelbasierte Softwareentwicklung von Robotern (06.2015- 05.2018)
Verwandte Robotersysteme: Ganzkörperexoskelett
Exoskelett für die robotische Oberkörper-Assistenz
Verwandte Software: Bagel
Biologically inspired Graph-Based Language
Rock
Robot Construction Kit
BOLeRo
Behavior Optimization and Learning for Robots
reSPACE
Reconfigurable Signal Processing and Classification Environment
pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python
Bundesministerium für Wirtschaft und Klimaschutz
Deutsches Zentrum für Luft- und Raumfahrt e.V.

Projektdetails

Bei KiMMI SF handelt es sich um ein Verbundvorhaben mit dem Ziel der Realisierung eines Softwareframeworks für eine flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion.

Konkret wird im Teilvorhaben 1 ”Entwicklung eines adaptiven Softwareframeworks für MMI”, geleitet durch das DFKI RIC, ein adaptives Softwareframework entwickelt, das eine online rekonfigurierbare Datenverarbeitung ermöglicht, die auf unterschiedlichen Datenquellen basiert. Das Framework soll dabei eine multimodale Auswertung der Situation des Menschen, des Agenten und der Umwelt ermöglichen.

Im Teilvorhaben 2 ”Entwicklung von Methoden zur online Kontexterkennung”, geleitet durch die Universität Bremen, werden Methoden zur kontextabhängigen Auswertung, Selektion und Gewichtung von Datenquellen entwickelt, um so eine online Interpretation von Kontextinformation auf Basis multimodaler Daten zu ermöglichen und den Zustand des Menschen abzuleiten. Das im Verbund entwickelte Softwareframework ist Voraussetzung für eine kontextabhängige intuitive Mensch-Maschine-Interaktion, die durch die Zusammenarbeit im Verbund ermöglicht werden soll und mit deren Hilfe die Interaktion zwischen Menschen und robotischen Agenten flexibel, d.h. auch bei Kontextwechseln, weitergeführt werden kann.

Durch die adaptive Natur des in KiMMI SF zu entwickelnden Softwareframeworks für flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion wird u.a. erwartet, dass Ausfallzeiten aufgrund von sonst nicht erkannten Kontext- und Intentionswechseln beim Menschen minimiert werden können. Es kann damit als wesentlicher Beitrag für den Erfolg von zukünftigen Missionen dienen. KiMMI SF baut auf vorhandenen Technologieentwicklungen in vorangegangen Vorhaben aus dem Bereich Raumfahrt insbesondere im Schwerpunkt Providing Services (PS) auf.

Publikationen

2023

Detection and recognition of human manipulation building blocks
Lisa Gutzeit
Mar/2023. Universität Bremen.
The VVAD-LRS3 Dataset for Visual Voice Activity Detection
Adrian Lubitz., Matias Valdenegro-Toro., Frank Kirchner.
In Proceedings of the 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - HUCAPP, (VISIGRAPP-2023), 19.2.-21.2.2023, Lissabon, SciTePress, pages 39-46, 2023. INSTICC. ISBN: 978-989-758-634-7.
A Reference Implementation for Knowledge Assisted Robot Development for Planetary and Orbital Robotics
Mehmed Yüksel, Thomas M. Röhr, Marko Jankovic, Wiebke Brinkmann, Frank Kirchner
In Acta Astronautica, Elsevier Ltd., volume 2023, pages 1-16, 2023.

2022

Unsupervised Segmentation of Human Manipulation Movements into Building Blocks
Lisa Gutzeit, Frank Kirchner
In IEEE Access, IEEE, volume 10, pages 125723-125734, Dec/2022.
Ontology-Driven Robot Design for Future Orbital and Planetary Robotics with korcut
Mehmed Yüksel, Thomas M. Röhr
European Aeronautics Science Network International Conference (EASN), Oct/2022.
Hierarchical Segmentation of Human Manipulation Movements
Lisa Gutzeit
In Proc. of the 26th International Conference on Pattern Recognition, (ICPR-2022), 21.8.-25.8.2022, Montreal, QC, IEEE Computer Society, pages 2742-2748, Aug/2022.
A Holistic Approach for Enhancing Data Integrity and Reliability in Human-Robot Interaction
Manuel Meder, Kashmira Shinde, Dennis Hemker, Sadique Siddiqui, Teena Hassan, Nina Hoyer, Elsa Andrea Kirchner
In Proceedings of SpaceCHI 2.0: Human-Computer Interaction for Space Exploration, (SpaceCHI 2.0-2022), 01.5.-01.5.2022, New Orleans, LA, ACM, May/2022.
A Bayesian Approach to Context-based Recognition of Human Intention for Context-Adaptive Robot Assistance in Space Missions
Adrian Lubitz, Octavio Arriaga, Teena Hassan, Nina Hoyer, Elsa Andrea Kirchner
In Proceedings of SpaceCHI 2.0 - Human-Computer Interaction for Space Exploration - A Workshop at CHI 2022, (SpaceCHI 2.0-2022), 01 .5.-01.5.2022, New Orleans, LA, ACM, May/2022.
Multi-modal manipulation planning for an upper-torso humanoid system
Sankaranarayanan Natarajan, Frank Kirchner
In 2022 IEEE-RAS 21st International Conference on Humanoid Robots, (Humanoids-2022), 28.11.-30.11.2022, Ginowan City, Okinawa, IEEE, 2022.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 26.05.2023
nach oben