Флоран Дельгранж, постдокторант Лаборатории искусственного интеллекта Свободного университета Брюсселя (VUB), получил премию за лучшую статью Blue Sky (Best Blue Sky Paper Award) на конференции AAMAS 2026 за свою работу под названием « Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments ». В интервью он представил предлагаемую им исследовательскую программу: позволить автономному агенту непрерывно обучаться в меняющемся мире, не теряя гарантий, которые делают его поведение надежным.
Его статья исходит из простого наблюдения. Обучение с подкреплением, которое заключается в обучении методом проб и ошибок, можно применять к средам, все правила для которых никогда нельзя было бы прописать. Но агент, как правило, стремится максимизировать вознаграждение, а плохо определенное вознаграждение можно эксплуатировать. Следовательно, само по себе высокое вознаграждение не доказывает соблюдение требований безопасности или координации. Напротив, реактивный синтез, метод, возникший из формальных методов, исходит из модели среды и логического описания ожидаемого поведения для построения стратегии, корректной по построению. Однако он предполагает явную и фиксированную модель, чего как раз и не хватает агенту, действующему в открытом и изменяющемся мире.
Предложение состоит в том, чтобы объединить эти два подхода в один цикл. Модель мира, то есть внутреннее представление среды, будет обучаться на основе опыта, но структурировано таким образом, чтобы его можно было анализировать с помощью верификатора — программы, отвечающей за проверку корректности поведения. По мере обучения агент будет обновлять свою модель, измерять надежность своей абстракции и проверять, что его стратегия по-прежнему соответствует спецификациям. Верификатор может отвергнуть опасное обновление, запросить данные о неопределенной области или инициировать пересмотр модели.
Иной взгляд на современные модели
По мнению Флорана Дельгранжа, термин «фундаментальный» (foundation) в первую очередь отсылает к повторному использованию, а не к размеру. Он рассматривает не более крупный видео-предсказатель, обученный на большем количестве траекторий, а устойчивую и структурированную модель, которую агент может переносить от одной задачи к другой и от одной популяции агентов к другой. Он сравнивает ее с картой, которая показывала бы не только дороги, но и исследованные области, выводы, зависящие от этих областей, и моменты, когда изменение делает старый маршрут ненадежным.
Он определяет три ожидаемых свойства. Во-первых, модель должна быть калиброванной: каждая изученная абстракция должна сопровождаться оценкой ее ошибки или покрытия. Во-вторых, она должна быть композиционной, чтобы уже проверенные локальные динамики и сертификаты можно было повторно использовать для сборки новой задачи. Наконец, она должна быть семантически запрашиваемой: формальное требование или инструкция высокого уровня помогли бы агенту вывести подходящее вознаграждение или стратегию с небольшим дополнительным опытом.
Он также подчеркивает, что современные модели в первую очередь предназначены для конкретной задачи, среды или распределения обучающих данных, с основной целью — точностью предсказания. Однако, по его мнению, средняя точность не равносильна способности гарантировать поведение. В примере со складом модель может правильно предсказывать почти все переходы, но упускать редкое и опасное взаимодействие с погрузчиком, тогда как именно этот единственный переход определяет валидность гарантии избежания столкновения. Языковые модели в этой схеме играли бы дополнительную роль: они предлагали бы спецификации или структурированные обновления, которые модель мира закрепляла бы в опыте и которые проверял бы верификатор.
Мультиагентные системы
В мультиагентных системах каждый обучающийся агент является частью среды для других, что усложняет проблему. Флоран Дельгранж приводит пример флота складских роботов, которые должны избегать столкновений, доставлять посылки и соблюдать общие ограничения по пропускной способности. Если робот меняет свой маршрут, система могла бы выявить затронутые гипотезы и гарантии, собрать при необходимости новые данные и пересмотреть только затронутые компоненты.
Основным препятствием остается масштабирование. Пространство совместных состояний растет очень быстро с увеличением числа агентов, а локальные гарантии не объединяются автоматически в глобальную. Исследователь считает необходимым разработать методы, позволяющие выявлять зависимости, сохранять валидность гарантий при их композиции и проверять достаточно быстро, чтобы влиять на обучение в реальном времени.
