Florent Delgrange, investigador pós-doutoral no Artificial Intelligence Lab da Vrije Universiteit Brussel (VUB), recebeu o prémio de Melhor Artigo Blue Sky (Best Blue Sky Paper Award) na conferência AAMAS 2026 pelo seu trabalho intitulado « Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». Numa entrevista, ele apresenta o programa de investigação que propõe: permitir que um agente autónomo aprenda continuamente, num mundo em mudança, sem perder as garantias que tornam o seu comportamento digno de confiança.
O seu artigo parte de uma constatação simples. A aprendizagem por reforço, que consiste em aprender por tentativa e erro, pode ser aplicada a ambientes cujas regras nunca poderiam ser totalmente escritas. Mas o agente procura geralmente maximizar uma recompensa, e uma recompensa mal definida pode ser explorada. Uma recompensa elevada não prova, por si só, que um requisito de segurança ou de coordenação é respeitado. Por outro lado, a síntese reativa, um método proveniente dos métodos formais, parte de um modelo do ambiente e de uma descrição lógica do comportamento esperado para construir uma política correta por conceção. No entanto, pressupõe um modelo explícito e fixo, o que é precisamente o que falta a um agente que evolui num mundo aberto e em mudança.
A proposta consiste em reunir estas duas abordagens num mesmo ciclo. Um modelo do mundo, ou seja, uma representação interna do ambiente, seria aprendido a partir da experiência, mas estruturado de forma a poder ser analisado por um verificador, um programa encarregado de controlar a validade dos comportamentos. À medida que o agente aprende, atualizaria o seu modelo, mediria a fiabilidade da sua abstração e verificaria se a sua política continua a respeitar as suas especificações. O verificador poderia rejeitar uma atualização perigosa, solicitar dados sobre uma zona incerta ou desencadear uma revisão do modelo.
Uma visão diferente dos modelos atuais
Para Florent Delgrange, o termo «fundação» remete primeiro para a reutilização, e não para o tamanho. Ele não prevê um preditor de vídeo maior, treinado com mais trajetórias, mas sim um modelo persistente e estruturado, que um agente pode levar de uma tarefa para outra e de uma população de agentes para outra. Compara-o a um mapa que indicaria não só as estradas, mas também as zonas exploradas, as conclusões que dependem dessas zonas e os momentos em que uma mudança torna um antigo itinerário pouco fiável.
Ele define três propriedades esperadas. O modelo deveria primeiro ser calibrado: cada abstração aprendida seria acompanhada por uma medida do seu erro ou da sua cobertura. Deveria depois ser composicional, permitindo que dinâmicas locais e certificados já verificados possam ser reutilizados para montar uma nova tarefa. Por fim, deveria ser interrogável semanticamente: um requisito formal ou uma instrução de alto nível ajudaria o agente a derivar uma recompensa ou uma política adequada, com pouca experiência adicional.
Ele salienta também que os modelos atuais são sobretudo concebidos para uma tarefa, um ambiente ou uma distribuição de treino específicos, com o objetivo principal de precisão na previsão. No entanto, segundo ele, uma precisão média não equivale a uma aptidão para garantir um comportamento. No exemplo de um armazém, um modelo pode prever quase todas as transições corretamente, mas falhar uma interação rara e perigosa com um empilhador, sendo que essa única transição determina a validade de uma garantia de evitar colisões. Os modelos de linguagem desempenhariam, neste esquema, um papel complementar: proporiam especificações ou atualizações estruturadas, que o modelo do mundo ancoraria na experiência e que o verificador controlaria.
Sistemas multiagente
Nos sistemas multiagente, cada agente que aprende faz parte do ambiente dos outros, o que torna o problema mais difícil. Florent Delgrange dá o exemplo de uma frota de robôs de armazém, que devem evitar colisões, entregar as suas encomendas e respeitar restrições de capacidade partilhadas. Se um robô modificar o seu itinerário, o sistema poderia identificar as hipóteses e garantias afetadas, recolher novos dados se necessário, e rever apenas os componentes em causa.
O principal obstáculo continua a ser a escalabilidade. O espaço dos estados conjuntos cresce muito rapidamente com o número de agentes, e garantias locais não se combinam automaticamente numa garantia global. O investigador considera necessário desenvolver métodos que permitam expor as dependências, preservar a validade das garantias durante a sua composição e verificar com rapidez suficiente para influenciar a aprendizagem em tempo real.
