Florent Delgrange, Postdoktorand am Artificial Intelligence Lab der Vrije Universiteit Brussel (VUB), erhielt auf der AAMAS 2026 Konferenz den Best Blue Sky Paper Award für seine Arbeit mit dem Titel „Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». In einem Interview stellt er das von ihm vorgeschlagene Forschungsprogramm vor: einem autonomen Agenten zu ermöglichen, kontinuierlich in einer sich verändernden Welt zu lernen, ohne die Garantien zu verlieren, die sein Verhalten vertrauenswürdig machen.
Sein Artikel beginnt mit einer einfachen Feststellung. Reinforcement Learning, das Lernen durch Versuch und Irrtum, kann auf Umgebungen angewandt werden, für die man niemals alle Regeln aufschreiben könnte. Doch der Agent versucht in der Regel, eine Belohnung zu maximieren, und eine schlecht definierte Belohnung kann ausgenutzt werden. Eine hohe Belohnung allein beweist also nicht, dass eine Sicherheits- oder Koordinationsanforderung eingehalten wird. Im Gegensatz dazu basiert die reaktive Synthese, eine Methode aus der formalen Methoden, auf einem Modell der Umgebung und einer logischen Beschreibung des erwarteten Verhaltens, um eine von vornherein korrekte Strategie zu erstellen. Sie setzt jedoch ein explizites und festes Modell voraus, was einem Agenten, der in einer offenen und sich verändernden Welt agiert, genau fehlt.
Der Vorschlag besteht darin, diese beiden Ansätze in einer einzigen Schleife zu vereinen. Ein Weltmodell, also eine interne Repräsentation der Umgebung, würde aus Erfahrung gelernt, aber so strukturiert, dass es von einem Verifier, einem Programm zur Überprüfung der Gültigkeit von Verhaltensweisen, analysiert werden kann. Während der Agent lernt, würde er sein Modell aktualisieren, die Zuverlässigkeit seiner Abstraktion messen und überprüfen, ob seine Strategie weiterhin seine Spezifikationen erfüllt. Der Verifier könnte eine gefährliche Aktualisierung ablehnen, Daten zu einem unsicheren Bereich anfordern oder eine Überarbeitung des Modells auslösen.
Eine andere Sicht auf aktuelle Modelle
Für Florent Delgrange bezieht sich der Begriff „Foundation » in erster Linie auf Wiederverwendung und nicht auf Größe. Er denkt nicht an einen größeren Videoprädiktor, der mit mehr Trajektorien trainiert wurde, sondern an ein persistentes und strukturiertes Modell, das ein Agent von einer Aufgabe zur anderen und von einer Agentenpopulation zur anderen mitnehmen kann. Er vergleicht es mit einer Karte, die nicht nur Straßen anzeigt, sondern auch erkundete Gebiete, daraus abgeleitete Schlussfolgerungen und Zeitpunkte, an denen eine Veränderung eine frühere Route unzuverlässig macht.
Er definiert drei erwartete Eigenschaften. Das Modell sollte zunächst kalibriert sein: Jede gelernte Abstraktion wäre mit einer Messung ihres Fehlers oder ihrer Abdeckung versehen. Es sollte dann kompositionell sein, wobei bereits verifizierte lokale Dynamiken und Zertifikate wiederverwendet werden können, um eine neue Aufgabe zusammenzusetzen. Schließlich sollte es semantisch abfragbar sein: Eine formale Anforderung oder eine hochrangige Anweisung würde dem Agenten helfen, eine passende Belohnung oder Strategie mit wenig zusätzlicher Erfahrung abzuleiten.
Er betont auch, dass aktuelle Modelle vor allem für eine gegebene Aufgabe, Umgebung oder Trainingsverteilung entwickelt wurden, mit dem Hauptziel der Vorhersagegenauigkeit. Seiner Ansicht nach entspricht eine durchschnittliche Genauigkeit jedoch nicht der Fähigkeit, ein Verhalten zu garantieren. Am Beispiel eines Lagers kann ein Modell fast alle Übergänge korrekt vorhersagen und dennoch eine seltene und gefährliche Interaktion mit einem Gabelstapler übersehen, obwohl gerade dieser Übergang die Gültigkeit einer Kollisionsvermeidungs-Garantie bestimmt. Sprachmodelle würden in diesem Schema eine ergänzende Rolle spielen: Sie würden Spezifikationen oder strukturierte Aktualisierungen vorschlagen, die das Weltmodell in der Erfahrung verankert und der Verifier überprüft.
Multi-Agenten-Systeme
In Multi-Agenten-Systemen ist jeder lernende Agent Teil der Umgebung der anderen, was das Problem erschwert. Florent Delgrange nennt das Beispiel einer Flotte von Lagerrobotern, die Kollisionen vermeiden, ihre Pakete ausliefern und gemeinsame Kapazitätsbeschränkungen einhalten müssen. Wenn ein Roboter seine Route ändert, könnte das System die betroffenen Annahmen und Garantien identifizieren, bei Bedarf neue Daten sammeln und nur die betroffenen Komponenten überarbeiten.
Das Hauptproblem bleibt die Skalierbarkeit. Der gemeinsame Zustandsraum wächst sehr schnell mit der Anzahl der Agenten, und lokale Garantien ergeben nicht automatisch eine globale Garantie. Der Forscher hält es für notwendig, Methoden zu entwickeln, die Abhängigkeiten offenlegen, die Gültigkeit von Garantien bei deren Zusammensetzung bewahren und schnell genug verifizieren, um das Lernen in Echtzeit zu beeinflussen.
