Florent Delgrange, investigador postdoctoral en el Artificial Intelligence Lab de la Vrije Universiteit Brussel (VUB), ha recibido el premio al mejor artículo Blue Sky (Best Blue Sky Paper Award) en la conferencia AAMAS 2026 por su trabajo titulado « Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». En una entrevista, presenta el programa de investigación que propone: permitir que un agente autónomo aprenda continuamente, en un mundo que cambia, sin perder las garantías que hacen que su comportamiento sea digno de confianza.
Su artículo parte de una observación simple. El aprendizaje por refuerzo, que consiste en aprender por ensayo y error, puede aplicarse a entornos cuyas reglas nunca podrían escribirse por completo. Pero el agente generalmente busca maximizar una recompensa, y una recompensa mal definida puede ser explotada. Una recompensa alta no prueba, por sí sola, que se cumpla un requisito de seguridad o coordinación. Por el contrario, la síntesis reactiva, un método procedente de los métodos formales, parte de un modelo del entorno y de una descripción lógica del comportamiento esperado para construir una política correcta por diseño. Sin embargo, supone un modelo explícito y fijo, que es precisamente lo que le falta a un agente que evoluciona en un mundo abierto y cambiante.
La propuesta consiste en reunir estos dos enfoques en un mismo bucle. Un modelo del mundo, es decir, una representación interna del entorno, se aprendería a partir de la experiencia, pero estructurado de manera que pueda ser analizado por un verificador, un programa encargado de controlar la validez de los comportamientos. A medida que el agente aprende, actualizaría su modelo, mediría la fiabilidad de su abstracción y verificaría que su política sigue cumpliendo sus especificaciones. El verificador podría rechazar una actualización peligrosa, solicitar datos sobre una zona incierta o desencadenar una revisión del modelo.
Una visión diferente de los modelos actuales
Para Florent Delgrange, el término «fundación» se refiere primero a la reutilización, y no al tamaño. No contempla un predictor de vídeo más grande, entrenado con más trayectorias, sino un modelo persistente y estructurado, que un agente puede llevar de una tarea a otra y de una población de agentes a otra. Lo compara con un mapa que indicaría no solo las rutas, sino también las zonas exploradas, las conclusiones que dependen de esas zonas y los momentos en que un cambio hace que una ruta antigua sea poco fiable.
Define tres propiedades esperadas. El modelo debería primero estar calibrado: cada abstracción aprendida iría acompañada de una medida de su error o de su cobertura. Debería luego ser composicional, pudiendo reutilizarse las dinámicas locales y los certificados ya verificados para ensamblar una nueva tarea. Finalmente, debería ser interrogable semánticamente: un requisito formal o una instrucción de alto nivel ayudaría al agente a derivar una recompensa o una política adaptada, con poca experiencia adicional.
También subraya que los modelos actuales están concebidos principalmente para una tarea, un entorno o una distribución de entrenamiento dados, con el objetivo principal de la precisión de la predicción. Sin embargo, según él, una precisión media no equivale a una aptitud para garantizar un comportamiento. En el ejemplo de un almacén, un modelo puede predecir casi todas las transiciones correctamente mientras pasa por alto una interacción rara y peligrosa con un montacargas, cuando esa única transición determina la validez de una garantía de evitación de colisiones. Los modelos de lenguaje jugarían, en este esquema, un papel complementario: propondrían especificaciones o actualizaciones estructuradas, que el modelo del mundo anclaría en la experiencia y que el verificador controlaría.
Sistemas multiagente
En los sistemas multiagente, cada agente que aprende forma parte del entorno de los demás, lo que hace el problema más difícil. Florent Delgrange toma el ejemplo de una flota de robots de almacén, que deben evitar colisiones, entregar sus paquetes y respetar restricciones de capacidad compartidas. Si un robot modifica su itinerario, el sistema podría identificar las hipótesis y garantías afectadas, recopilar nuevos datos si es necesario, y revisar solo los componentes concernidos.
El principal obstáculo sigue siendo la escalabilidad. El espacio de los estados conjuntos crece muy rápido con el número de agentes, y las garantías locales no se combinan automáticamente en una garantía global. El investigador considera necesario desarrollar métodos que permitan exponer las dependencias, preservar la validez de las garantías durante su composición y verificar lo suficientemente rápido como para influir en el aprendizaje en tiempo real.
