MMLF

Maja Machine Learning Framework

Das Maja Machine Learning Framework (MMLF) ist ein allgemeines Framework für Probleme im Bereich des Bestärkenden Lernens (Reinforcement Learning; RL), das in Python geschrieben ist. Es stellt Implementierungen einer Reihe von RL-Algorithmen und Benchmark-Problemen bereit. Des Weiteren ist es einfach erweiterbar und ermöglicht die einfache Automatisierung des Benchmarkings verschiedener Agenten.
Internetseite: http://mmlf.sourceforge.net/
Schlüsselwörter: Bestärkendes Lernen, maschinelles Lernen, evolutionäre Algorithmen
Status: inaktiv
Betriebssystem: Plattform-unabhängig
Programmiersprachen: Python
Lizenz: GPLv2
Eigentumsrechte: Diese Software wurde vom DFKI sowie von der Arbeitsgruppe Robotik der Universität Bremen entwickelt und wird unter dieser Verantwortung weiterentwickelt. Bei Fragen und Anregungen wenden sie sich an die Ansprechpartner.
 

Softwarebeschreibung

Illustration eines Durchlaufs eines TD(λ) Agenten in der Pinball Umgebung (Quelle: Jan Hendrik Metzen, Universität Bremen)
Einsatz des MMLF Experimenter für die Analyse einer empirischen Studie (Quelle: Jan Hendrik Metzen, Universität Bremen)

Das Maja Machine Learning Framework (MMLF) ist ein allgemeines Framework für Probleme im Bereich des Bestärkenden Lernens (Reinforcement Learning; RL), das in Python geschrieben ist. Es stellt Implementierungen einer Reihe von RL-Algorithmen und Benchmark-Problemen bereit. Des Weiteren ist es erweiterbar und ermöglicht die einfache Automatisierung der empirischen Auswertung verschiedener Agenten. Unter den implementierten RL-Algorithmen sind TD(lambda), CMA-ES, Fitted R-Max, Monte-Carlo, die DYNA-TD und die Actor-Critic Architektur. Das MMLF enthält verschiedene Varianten der klassisichen Labyrinth-Umgebung und des Pole-Balancing Problems sowie das Mountain Car Testproblem und die Pinball-Maze Domäne.

Ein bestimmtes Test-Szenario wird im Rahmen des MMLS als „Welt“ bezeichnet. Ein Beispiel für ein solches Szenarion wäre ein Roboter, der versucht, einen Weg durch ein Labyrinth zu finden. Im RL wird eine Welt typischerweise in Agent(en) und Umgebung unterteilt. Im Beispiel wäre der Roboter der Agent und das Labyrinth die Umgebung. Das MMLF baut auf dieser Modellierung auf, da sie es erlaubt, allgemeingültige, lernfähige Agenten zu schreiben, die in einer Vielzahl von Umgebungen eingesetzt werden können. Das gesamte Lernen (die Optimierung des Verhaltens) findet im Agenten statt wohingegen die Simulation der Physik und anderer Arten von Dynamik in der Umgebung durchgeführt werden.

Das MMLF bietet eine leistungsfähige graphische Oberfläche, die die Konfiguration von Agenten und Umgebungen, die Visualisierung des erlernten Verhaltens und dessen Ausführung in der Umgebung, sowie der Konfiguration und Auswertung von Experimenten erlaubt. Das MMLF ist damit besonders gut geeignet, um sich mit der Funktionsweise verschiedener RL-Algorithmen vertraut zu machen und Vor- und Nachteile mittels empirischer Vergleiche einschätzen zu können. Der Haupteinsatzbereich des MMLF liegt somit in Lehrveranstaltungen. Weitere Informationen sind unter http://mmlf.sourceforge.net zu finden.

Referenzen

Anwendungsfelder: Assistenz- und Rehabilitationssysteme
Verwandte Projekte: BEAR
Batterieelektrische Abfallentsorgung mit Roboterunterstützung (01.2017- 06.2020)
Labyrinth 1
Development of Learning Architectures and Experiments in Sensory Motor Learning (06.2007- 12.2007)
Labyrinth 2
Setup as testbed for learning architectures and EEG/ fMRI- analysis (01.2008- 01.2009)
BEAR
Battery electric waste management with robotic assistance (01.2017- 06.2020)
Labyrinth 1
Entwicklung von Lernarchitekturen und Experimente im Bereich senso-motorisches Lernen (06.2007- 12.2007)
Labyrinth 2
Einrichtung als Testbed für Lernarchitekturen und EEG/ fMRI- Untersuchungen (01.2008- 01.2009)
Verwandte Robotersysteme: BRIO Labyrinth
Testbed for the development of learning architectures
BRIO Labyrinth
Testbed für die Entwicklung von Lernarchitekturen
© DFKI GmbH
zuletzt geändert am 16.11.2023