MMLF

Das Maja Machine Learning Framework (MMLF) ist ein allgemeines Framework für Probleme im Bereich des Bestärkenden Lernens (Reinforcement Learning; RL), das in Python geschrieben ist. Es stellt Implementierungen einer Reihe von RL-Algorithmen und Benchmark-Problemen bereit. Des Weiteren ist es erweiterbar und ermöglicht die einfache Automatisierung der empirischen Auswertung verschiedener Agenten. Unter den implementierten RL-Algorithmen sind TD(lambda), CMA-ES, Fitted R-Max, Monte-Carlo, die DYNA-TD und die Actor-Critic Architektur. Das MMLF enthält verschiedene Varianten der klassisichen Labyrinth-Umgebung und des Pole-Balancing Problems sowie das Mountain Car Testproblem und die Pinball-Maze Domäne.

Ein bestimmtes Test-Szenario wird im Rahmen des MMLS als „Welt“ bezeichnet. Ein Beispiel für ein solches Szenarion wäre ein Roboter, der versucht, einen Weg durch ein Labyrinth zu finden. Im RL wird eine Welt typischerweise in Agent(en) und Umgebung unterteilt. Im Beispiel wäre der Roboter der Agent und das Labyrinth die Umgebung. Das MMLF baut auf dieser Modellierung auf, da sie es erlaubt, allgemeingültige, lernfähige Agenten zu schreiben, die in einer Vielzahl von Umgebungen eingesetzt werden können. Das gesamte Lernen (die Optimierung des Verhaltens) findet im Agenten statt wohingegen die Simulation der Physik und anderer Arten von Dynamik in der Umgebung durchgeführt werden.

Das MMLF bietet eine leistungsfähige graphische Oberfläche, die die Konfiguration von Agenten und Umgebungen, die Visualisierung des erlernten Verhaltens und dessen Ausführung in der Umgebung, sowie der Konfiguration und Auswertung von Experimenten erlaubt. Das MMLF ist damit besonders gut geeignet, um sich mit der Funktionsweise verschiedener RL-Algorithmen vertraut zu machen und Vor- und Nachteile mittels empirischer Vergleiche einschätzen zu können. Der Haupteinsatzbereich des MMLF liegt somit in Lehrveranstaltungen. Weitere Informationen sind unter http://mmlf.sourceforge.net zu finden.