Florent Delgrange, chercheur postdoctoral au Artificial Intelligence Lab de la Vrije Universiteit Brussel (VUB), a reçu le prix du meilleur article Blue Sky (Best Blue Sky Paper Award) à la conférence AAMAS 2026 pour son travail intitulé « Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». Dans un entretien, il présente le programme de recherche qu’il propose : permettre à un agent autonome d’apprendre en continu, dans un monde qui change, sans perdre les garanties qui rendent son comportement digne de confiance.
- Florent Delgrange propose de combiner apprentissage par renforcement et synthèse réactive dans une même boucle.
- Un modèle du monde appris par l’agent est contrôlé par un vérificateur avant toute mise à jour.
- Ce modèle doit être calibré, compositionnel et interrogeable sémantiquement pour rester fiable.
- Le passage à l’échelle reste le principal obstacle dans les systèmes multi-agents.
Son article part d’un constat simple. L’apprentissage par renforcement, qui consiste à apprendre par essais et erreurs, peut s’appliquer à des environnements dont on ne pourrait jamais écrire toutes les règles. Mais l’agent cherche en général à maximiser une récompense, et une récompense mal définie peut être exploitée. Une forte récompense ne prouve donc pas, à elle seule, qu’une exigence de sécurité ou de coordination est respectée. À l’inverse, la synthèse réactive, une méthode issue des méthodes formelles, part d’un modèle de l’environnement et d’une description logique du comportement attendu pour construire une politique correcte par conception. Elle suppose toutefois un modèle explicite et fixe, ce qui manque précisément à un agent évoluant dans un monde ouvert et changeant.
La proposition consiste à réunir ces deux approches dans une même boucle. Un modèle du monde, c’est-à-dire une représentation interne de l’environnement, serait appris à partir de l’expérience, mais structuré de manière à pouvoir être analysé par un vérificateur, un programme chargé de contrôler la validité des comportements. À mesure que l’agent apprend, il mettrait à jour son modèle, mesurerait la fiabilité de son abstraction et vérifierait que sa politique respecte toujours ses spécifications. Le vérificateur pourrait rejeter une mise à jour dangereuse, demander des données sur une zone incertaine ou déclencher une révision du modèle.
Une vision différente des modèles actuels
Pour Florent Delgrange, le terme « fondation » renvoie d’abord à la réutilisation, et non à la taille. Il n’envisage pas un prédicteur vidéo plus grand, entraîné sur davantage de trajectoires, mais un modèle persistant et structuré, qu’un agent peut emporter d’une tâche à l’autre et d’une population d’agents à une autre. Il le compare à une carte qui indiquerait non seulement les routes, mais aussi les zones explorées, les conclusions qui dépendent de ces zones et les moments où un changement rend un ancien itinéraire peu fiable.
Il définit trois propriétés attendues. Le modèle devrait d’abord être calibré : chaque abstraction apprise serait accompagnée d’une mesure de son erreur ou de sa couverture. Il devrait ensuite être compositionnel, les dynamiques locales et certificats déjà vérifiés pouvant être réutilisés pour assembler une nouvelle tâche. Enfin, il devrait être interrogeable sémantiquement : une exigence formelle ou une instruction de haut niveau aiderait l’agent à dériver une récompense ou une politique adaptée, avec peu d’expérience supplémentaire.
Il souligne aussi que les modèles actuels sont avant tout conçus pour une tâche, un environnement ou une distribution d’entraînement donnés, avec pour objectif principal la précision de la prédiction. Or, selon lui, une précision moyenne n’équivaut pas à une aptitude à garantir un comportement. Dans l’exemple d’un entrepôt, un modèle peut prédire presque toutes les transitions correctement tout en manquant une interaction rare et dangereuse avec un chariot élévateur, alors que cette seule transition détermine la validité d’une garantie d’évitement de collision. Les modèles de langage joueraient, dans ce schéma, un rôle complémentaire : ils proposeraient des spécifications ou des mises à jour structurées, que le modèle du monde ancrerait dans l’expérience et que le vérificateur contrôlerait.
Des systèmes multi-agents
Dans les systèmes multi-agents, chaque agent qui apprend fait partie de l’environnement des autres, ce qui rend le problème plus difficile. Florent Delgrange prend l’exemple d’une flotte de robots d’entrepôt, qui doivent éviter les collisions, livrer leurs colis et respecter des contraintes de capacité partagées. Si un robot modifie son itinéraire, le système pourrait identifier les hypothèses et garanties touchées, collecter de nouvelles données si nécessaire, et ne réviser que les composants concernés.
Le principal obstacle reste le passage à l’échelle. L’espace des états conjoints croît très vite avec le nombre d’agents, et des garanties locales ne se combinent pas automatiquement en une garantie globale. Le chercheur juge nécessaire de mettre au point des méthodes permettant d’exposer les dépendances, de préserver la validité des garanties lors de leur composition et de vérifier assez vite pour influencer l’apprentissage en temps réel.
