Florent Delgrange, postdoctoraal onderzoeker aan het Artificial Intelligence Lab van de Vrije Universiteit Brussel (VUB), heeft de Best Blue Sky Paper Award ontvangen op de AAMAS 2026-conferentie voor zijn werk getiteld « Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». In een interview presenteert hij het onderzoeksprogramma dat hij voorstelt: een autonome agent in staat stellen continu te leren in een veranderende wereld, zonder de garanties te verliezen die zijn gedrag betrouwbaar maken.
Zijn artikel vertrekt van een eenvoudige vaststelling. Reinforcement learning, dat leert door trial-and-error, kan worden toegepast op omgevingen waarvan je nooit alle regels zou kunnen opschrijven. Maar de agent probeert doorgaans een beloning te maximaliseren, en een slecht gedefinieerde beloning kan worden misbruikt. Een hoge beloning bewijst dus op zichzelf niet dat een veiligheids- of coördinatie-eis wordt nageleefd. Omgekeerd begint reactieve synthese, een methode uit de formele methoden, met een model van de omgeving en een logische beschrijving van het verwachte gedrag om een beleid te construeren dat correct is door ontwerp. Het veronderstelt echter een expliciet en vast model, wat nu net ontbreekt bij een agent die opereert in een open en veranderende wereld.
De voorstelling bestaat erin deze twee benaderingen in één enkele lus samen te brengen. Een wereldmodel, dat wil zeggen een interne representatie van de omgeving, zou worden geleerd uit ervaring, maar gestructureerd op een manier die analyse door een verifier mogelijk maakt, een programma dat de geldigheid van gedrag controleert. Naarmate de agent leert, zou hij zijn model bijwerken, de betrouwbaarheid van zijn abstractie meten en verifiëren dat zijn beleid nog steeds aan zijn specificaties voldoet. De verifier zou een gevaarlijke update kunnen afkeuren, om gegevens vragen over een onzeker gebied, of een herziening van het model kunnen activeren.
Een andere visie dan de huidige modellen
Voor Florent Delgrange verwijst de term ‘foundation’ in de eerste plaats naar hergebruik, niet naar grootte. Hij denkt niet aan een grotere videovoorspeller, getraind op meer trajecten, maar aan een persistent en gestructureerd model dat een agent van taak tot taak en van een populatie agents naar een andere kan meenemen. Hij vergelijkt het met een kaart die niet alleen de wegen aangeeft, maar ook de verkende gebieden, de conclusies die van die gebieden afhangen en de momenten waarop een verandering een oude route onbetrouwbaar maakt.
Hij definieert drie verwachte eigenschappen. Het model zou eerst gekalibreerd moeten zijn: elke geleerde abstractie zou vergezeld gaan van een maat voor zijn fout of dekking. Het zou vervolgens compositioneel moeten zijn, waarbij lokale dynamieken en reeds geverifieerde certificaten kunnen worden hergebruikt om een nieuwe taak samen te stellen. Ten slotte zou het semantisch bevraagbaar moeten zijn: een formele eis of een instructie op hoog niveau zou de agent helpen een aangepaste beloning of een geschikt beleid af te leiden, met weinig extra ervaring.
Hij benadrukt ook dat huidige modellen vooral zijn ontworpen voor een specifieke taak, omgeving of trainingsverdeling, met als hoofddoel de nauwkeurigheid van de voorspelling. Volgens hem is een gemiddelde nauwkeurigheid echter niet hetzelfde als het vermogen om gedrag te garanderen. In het voorbeeld van een magazijn kan een model bijna alle overgangen correct voorspellen, maar een zeldzame en gevaarlijke interactie met een vorkheftruck missen, terwijl die ene overgang de geldigheid van een garantie voor botsingsvermijding bepaalt. Taalmodellen zouden in dit schema een aanvullende rol spelen: ze zouden gestructureerde specificaties of updates voorstellen, die het wereldmodel zou verankeren in de ervaring en die de verifier zou controleren.
Multi-agent systemen
In multi-agent systemen maakt elke lerende agent deel uit van de omgeving van de anderen, wat het probleem moeilijker maakt. Florent Delgrange geeft het voorbeeld van een vloot magazijnrobots, die botsingen moeten vermijden, hun pakketten moeten afleveren en gedeelde capaciteitsbeperkingen moeten respecteren. Als een robot zijn route wijzigt, zou het systeem de getroffen hypothesen en garanties kunnen identificeren, indien nodig nieuwe gegevens verzamelen, en alleen de betrokken componenten herzien.
Het grootste obstakel blijft schaalbaarheid. De gezamenlijke toestandsruimte groeit zeer snel met het aantal agents, en lokale garanties combineren niet automatisch tot een globale garantie. De onderzoeker vindt het noodzakelijk om methoden te ontwikkelen die afhankelijkheden blootleggen, de geldigheid van garanties bij hun compositie behouden en snel genoeg verifiëren om het leren in real-time te beïnvloeden.
