Исследователи из MIT CSAIL и Toyota Research Institute представили SceneSmith — систему, использующую три ИИ-агента для создания 3D-сцен интерьеров, предназначенных для обучения роботов. Эти виртуальные среды позволяют машинам тренироваться и пробовать различные способы выполнения задачи перед вводом в эксплуатацию. Работа была представлена в качестве spotlight на конференции International Conference on Machine Learning 2026 года.
Главным препятствием для робототехники общего назначения остаются данные. Как и люди, роботы учатся в основном на опыте, но физическое обучение машины большому количеству действий в разных местах требует огромных трудозатрат и времени. Расс Тедрейк, профессор MIT и ведущий исследователь в CSAIL, напоминает, что симуляция — естественный путь. Физические движки симуляторов значительно продвинулись, но по-прежнему сложно создавать достаточно богатое и разнообразное содержание, отражающее сложность реального мира.
Три агента на одну комнату
ИИ-агенты — полуавтономные программы, способные выполнять четко определенные задачи, — могут как раз помочь в создании таких сцен. SceneSmith опирается на трех агентов, которые собирают объекты, стены и общий вид 3D-сцены. Каждый из них основан на модели «визуальный язык» (VLM, система, способная обрабатывать одновременно текст и изображения), в данном случае GPT-5.2 от OpenAI, представленной в источнике как одна из самых передовых моделей в этой области.
Работа происходит по трехэтапной цепочке. Агент-«дизайнер» генерирует элементы сцены, агент-«критик» оценивает, выглядит ли результат реалистично, а агент-«оркестратор» управляет обменом между ними и решает, когда проектирование завершено. После завершения этой совместной работы сцену можно напрямую загрузить в программное обеспечение для физического моделирования. Агенты действуют поэтапно: сначала мебель, затем объекты на стенах и потолке, и наконец, объекты, которыми робот может манипулировать, например, шкафы, которые он может открывать и закрывать.
Николас Пфафф, аспирант по электротехнике и информатике в MIT и ведущий автор статьи вместе с Рассом Тедрейком, описывает результат, который его удивил: «Мы обнаружили, что система может создавать 3D-сцены подобно человеческому дизайнеру». По его словам, команда сгенерировала более 1300 сцен с «безумно креативными» и разнообразными компоновками, которые система не получала в явном виде в своих инструкциях.
По словам исследователей, эти сцены содержат до шести раз больше объектов на комнату, чем предыдущие методы, что делает их полезными для обучения робота ставить чашку в раковину, раскладывать фрукты по тарелкам или перемещать банку с полки на стол.
Реализм на проверку
Чтобы проверить реалистичность этих виртуальных миров, исследователи протестировали предварительно обученную политику — то есть ИИ-контроллер, обученный в основном на реальных данных, который никогда не видел сцену от SceneSmith. Когда его попросили «взять яблоко из миски и положить на разделочную доску», смоделированный робот выполнил задачу. Команды также дистанционно управляли роботами в этих пространствах, чтобы открывать шкафы, убирать бутылки и переходить из комнаты в комнату.
В другом тесте было сгенерировано 100 уникальных пространств, и агент VLM оценил планы действий робота, которые во многих случаях были признаны неудачными. Люди согласились с этими вердиктами более чем в 99% случаев, по словам исследователей, что может позволить отсеивать дефектные подходы в симуляции до их развертывания. Более 200 пользователей также сочли визуализацию более реалистичной, чем у конкурирующих систем, более чем в 90% случаев.
Однако система требует времени. Создание одной сцены может занять несколько часов, поскольку агенты создают и тщательно рассматривают каждый объект. Увеличение вычислительной мощности может повысить эффективность, и команда рассматривает возможность расширения системы на деформируемые объекты, такие как губки, если станут доступны обширные 3D-библиотеки.
