KiMMI-SF

Adaptives Softwareframework für Kontextabhängige intuitive Mensch-Maschine-Interaktion

Im Rahmen des Projektes "KiMMI SF" soll ein Softwareframework für eine flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion entwickelt werden. Dieses soll einerseits eine zur Laufzeit rekonfigurierbare Datenverarbeitung ermöglichen, andererseits sollen Methoden zur kontextabhängigen Auswertung, Selektion und Gewichtung von Datenquellen entwickelt werden.

Laufzeit: 01.06.2020 bis 31.12.2023
Zuwendungsempfänger: Deutsches Forschungszentrum für Künstliche Intelligenz GmbH & Universität Bremen
Fördergeber: Bundesministerium für Wirtschaft und Klimaschutz
Förderkennzeichen: DFKI: 50RA2021 Uni: 50RA2022
Anwendungsfelder: Weltraumrobotik
Verwandte Projekte: BesMan
Behaviors for Mobile Manipulation (05.2012- 07.2016)
Capio
Dual-Arm-Exoskelett (01.2011- 12.2013)
IMMI
Intelligentes Mensch-Maschine-Interface - Adaptives Brain-Reading für unterstützende Robotik (05.2010- 04.2015)
iMRK
Intelligente Mensch-Roboter-Kollaboration (03.2015- 06.2016)
iStruct
Intelligente Strukturen für mobile Robotersysteme (05.2010- 08.2013)
LIMES
Lernen intelligenter Bewegungen kinematisch komplexer Laufroboter für die Exploration im Weltraum (05.2012- 04.2016)
Moonwalk
Technologies and Human-Robot Collaboration for Surface EVA Exploration Activities and Training in European Analogue Environments (09.2013- 08.2016)
Recupera REHA
Ganzkörper Exoskelett für die robotische Oberkörper-Assistenz (09.2014- 12.2017)
TransTerrA
Semi-autonome kooperative Exploration planetarer Oberflächen mit Errichtung einer logistischen Kette sowie Betrachtung terrestrischer Anwendbarkeit einzelner Aspekte (05.2013- 12.2017)
Q-Rock
Modellbasierte Bestimmung und Validierung von wiederverwendbaren und übertragbaren Roboterverhalten (08.2018- 07.2021)
TransFIT
Flexible Interaktion für Infrastrukturaufbau mittels Teleoperation und direkte Kollaboration und Transfer in Industrie 4.0 (07.2017- 12.2021)
D-Rock
Modelle, Verfahren und Werkzeuge für die Modelbasierte Softwareentwicklung von Robotern (06.2015- 05.2018)
Verwandte Robotersysteme: HunterSE
Z1-Arm
Z1-Arm mit Greifer
Ganzkörperexoskelett
Exoskelett für die robotische Oberkörper-Assistenz
Verwandte Software: Bagel
Biologically inspired Graph-Based Language
pySPACE
Signalverarbeitungs- und Klassifikationsumgebung in Python
reSPACE
Reconfigurable Signal Processing and Classification Environment
BOLeRo
Behavior Optimization and Learning for Robots
Rock
Robot Construction Kit

Projektdetails

Bei KiMMI SF handelt es sich um ein Verbundvorhaben mit dem Ziel der Realisierung eines Softwareframeworks für eine flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion.

Konkret wird im Teilvorhaben 1 ”Entwicklung eines adaptiven Softwareframeworks für MMI”, geleitet durch das DFKI RIC, ein adaptives Softwareframework entwickelt, das eine online rekonfigurierbare Datenverarbeitung ermöglicht, die auf unterschiedlichen Datenquellen basiert. Das Framework soll dabei eine multimodale Auswertung der Situation des Menschen, des Agenten und der Umwelt ermöglichen.

Im Teilvorhaben 2 ”Entwicklung von Methoden zur online Kontexterkennung”, geleitet durch die Universität Bremen, werden Methoden zur kontextabhängigen Auswertung, Selektion und Gewichtung von Datenquellen entwickelt, um so eine online Interpretation von Kontextinformation auf Basis multimodaler Daten zu ermöglichen und den Zustand des Menschen abzuleiten. Das im Verbund entwickelte Softwareframework ist Voraussetzung für eine kontextabhängige intuitive Mensch-Maschine-Interaktion, die durch die Zusammenarbeit im Verbund ermöglicht werden soll und mit deren Hilfe die Interaktion zwischen Menschen und robotischen Agenten flexibel, d.h. auch bei Kontextwechseln, weitergeführt werden kann.

Durch die adaptive Natur des in KiMMI SF zu entwickelnden Softwareframeworks für flexible und für den jeweiligen Kontext optimale Mensch-Maschine-Interaktion wird u.a. erwartet, dass Ausfallzeiten aufgrund von sonst nicht erkannten Kontext- und Intentionswechseln beim Menschen minimiert werden können. Es kann damit als wesentlicher Beitrag für den Erfolg von zukünftigen Missionen dienen. KiMMI SF baut auf vorhandenen Technologieentwicklungen in vorangegangen Vorhaben aus dem Bereich Raumfahrt insbesondere im Schwerpunkt Providing Services (PS) auf.
 

Videos

RH5 Manus: Robotertanzgenerierung basierend auf musikanalysegesteuerter Trajektorienoptimierung

Video-Vorschaubild
Durch das Abspielen des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.

Musikalisches Tanzen ist ein allgegenwärtiges Phänomen in der menschlichen Gesellschaft. Die Fähigkeit von Robotern zu tanzen hat das Potenzial, die Koexistenz von Mensch und Roboter akzeptabler zu machen. Daher haben tanzende Roboter in den letzten Jahren ein erhebliches Forschungsinteresse geweckt. In diesem Beitrag stellen wir eine neuartige Formalisierung des Robotertanzes als Planung und Steuerung von optimal getakteten Aktionen vor, die auf

Taktzeiten und zusätzlichen, aus der Musik extrahierten Merkmalen. Wir zeigen die Anwendung dieser Formulierung in drei verschiedenen Varianten: mit der Eingabe einer Choreografie durch einen menschlichen Experten, der Imitation einer vordefinierten Choreografie und der automatischen Generierung einer neuen Choreografie. Unsere Methode wurde an vier verschiedenen Musikstücken validiert, sowohl in der Simulation als auch an einem realen Roboter, dem humanoiden Oberkörperroboter RH5 Manus.

RH5 Manus: Hintergründe der Robotertanzgenerierung basierend auf musikanalysegesteuerter Trajektorienoptimierung

Video-Vorschaubild
Durch das Abspielen des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.

Publikationen

2024

Fusion of Inertial Sensor Suit and Monocular Camera for 3D Human Pelvis Pose Estimation
Mihaela Popescu, Kashmira Shinde, Proneet Kumar Sharma, Lisa Gutzeit, Frank Kirchner
In 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), (RO-MAN-2024), 26.8.-30.8.2024, Pasadena, California, IEEE XPlore, pages 160-167, Aug/2024.

2023

Investigations into Exploiting the Full Capabilities of a Series-Parallel Hybrid Humanoid using Whole Body Trajectory Optimization
Melya Boukheddimi, Rohit Kumar, Shivesh Kumar, Carpentier Justin, Frank Kirchner
In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), (IROS-2023), 01.10.-05.10.2023, Detroit, Michigan, IEEE, Oct/2023.
Context-attentive robot reconfiguration for collaborative human-machine space missions
Isabelle Kien, Manuel Meder, Proneet Kumar Sharma
In 13th EASN International Conference, (EASN-2023), 05.9.-09.9.2023, Salerno, Italy, IOP Journal of Physics, Sep/2023.
Detection and recognition of human manipulation building blocks
Lisa Gutzeit
Mar/2023. Universität Bremen.
The VVAD-LRS3 Dataset for Visual Voice Activity Detection
Adrian Lubitz., Matias Valdenegro-Toro., Frank Kirchner.
In Proceedings of the 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - HUCAPP, (VISIGRAPP-2023), 19.2.-21.2.2023, Lissabon, SciTePress, pages 39-46, 2023. INSTICC. ISBN: 978-989-758-634-7.
A Reference Implementation for Knowledge Assisted Robot Development for Planetary and Orbital Robotics
Mehmed Yüksel, Thomas M. Röhr, Marko Jankovic, Wiebke Brinkmann, Frank Kirchner
In Acta Astronautica, Elsevier Ltd., volume 2023, pages 1-16, 2023.
CoBaIR: A Python Library for Context-Based Intention Recognition in Human-Robot-Interaction
Adrian Auer, Lisa Gutzeit, Frank Kirchner
In 2023 32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), (RO-MAN-2023), 28.8.-31.8.2023, Busan, IEEE, 2023.
Fast Dynamic Walking with RH5 Humanoid Robot
Ivan Bergonzani, Mihaela Popescu, Shivesh Kumar, Frank Kirchner
In 2023 IEEE-RAS 22nd International Conference on Humanoid Robots (Humanoids), (Humanoids), 12.12.-14.12.2023, Austin, TX, IEEE, 2023. ISBN: 979-8-3503-0327-8.
Difficulty Estimation with Action Scores for Computer Vision Tasks
Luis Octavio Arriaga Camargo, Sebastian Palacio, Matias Valdenegro-Toro
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, (CVPR-2023), IEEE, 2023.

2022

Unsupervised Segmentation of Human Manipulation Movements into Building Blocks
Lisa Gutzeit, Frank Kirchner
In IEEE Access, IEEE, volume 10, pages 125723-125734, Dec/2022.
Ontology-Driven Robot Design for Future Orbital and Planetary Robotics with korcut
Mehmed Yüksel, Thomas M. Röhr
European Aeronautics Science Network International Conference (EASN), Oct/2022.
Hierarchical Segmentation of Human Manipulation Movements
Lisa Gutzeit
In Proc. of the 26th International Conference on Pattern Recognition, (ICPR-2022), 21.8.-25.8.2022, Montreal, QC, IEEE Computer Society, pages 2742-2748, Aug/2022.
A Holistic Approach for Enhancing Data Integrity and Reliability in Human-Robot Interaction
Manuel Meder, Kashmira Shinde, Dennis Hemker, Sadique Siddiqui, Teena Hassan, Nina Hoyer, Elsa Andrea Kirchner
In Proceedings of SpaceCHI 2.0: Human-Computer Interaction for Space Exploration, (SpaceCHI 2.0-2022), 01.5.-01.5.2022, New Orleans, LA, ACM, May/2022.
A Bayesian Approach to Context-based Recognition of Human Intention for Context-Adaptive Robot Assistance in Space Missions
Adrian Auer, Octavio Arriaga, Teena Hassan, Nina Hoyer, Elsa Andrea Kirchner
In Proceedings of SpaceCHI 2.0 - Human-Computer Interaction for Space Exploration - A Workshop at CHI 2022, (SpaceCHI 2.0-2022), 01 .5.-01.5.2022, New Orleans, LA, ACM, May/2022.
Multi-modal manipulation planning for an upper-torso humanoid system
Sankaranarayanan Natarajan, Frank Kirchner
In 2022 IEEE-RAS 21st International Conference on Humanoid Robots, (Humanoids-2022), 28.11.-30.11.2022, Ginowan City, Okinawa, IEEE, 2022.

Zurück zur Projektliste
© DFKI GmbH
zuletzt geändert am 11.09.2024