Исследователи представили «Interactive World Simulator» — симулятор, который предсказывает видеокадры в ответ на действия робота без физического движка. По словам авторов, этот инструмент может устранить два узких места в обучении роботов: сбор обучающих данных и оценку политик, то есть программ управления роботами.
Сегодня стандартный метод заключается в сборе сотен демонстраций, выполненных экспертом на реальном роботе, обучении политики имитации на этих данных и последующем многократном тестировании её на том же роботе. Эти этапы медленные, дорогие и трудно воспроизводимые, поскольку оборудование может выйти из строя, освещение измениться, а объекты переместиться. Классические физические симуляторы предлагают альтернативу, но они требуют ручного моделирования геометрий, контактов, трения и деформаций и часто остаются слишком далеки от реальности, чтобы политики, обученные в симуляции, затем работали на настоящем роботе.
Модель, которая учится на действиях
Авторы выбрали другой подход. Их симулятор — это модель предсказания видео, обусловленная действиями робота: на основе текущего кадра и последовательности действий она генерирует следующие кадры напрямую в пикселях, без физического движка. Она была обучена на четырёх задачах манипуляции: толкание Т-образного объекта (контакт твёрдых тел), продевание верёвки в клип (взаимодействие деформируемого и твёрдого объекта), захват чашки (тонкая динамика захвата) и сметание кучи предметов.
По словам авторов, оператор может управлять роботом через эту модель более 10 минут с частотой 15 кадров в секунду на одной видеокарте RTX 4090, получая при этом стабильное и физически правдоподобное видео. Для достижения этого система работает в два этапа. Первый автоэнкодер сжимает RGB-изображения в компактные латентные представления, а затем восстанавливает их в изображения. Вторая модель, чей автоэнкодер заморожен, предсказывает следующее латентное состояние на основе прошлых латентных состояний и действий, после чего происходит декодирование в изображение. Это предсказание повторяется авторегрессивно, каждый сгенерированный кадр служит контекстом для следующего. Авторы указывают, что используют модели согласованности, чтобы симуляция оставалась интерактивной и стабильной в течение длительного времени.
Два применения: генерация данных и оценка
В первом эксперименте авторы собрали демонстрации полностью в симуляторе, а затем обучили политики имитации с 0% реальных данных и 100% сгенерированных данных. Эти политики, развёрнутые непосредственно на реальном роботе, успешно выполняют задачи и остаются устойчивыми к непрерывным человеческим помехам. По словам авторов, это показывает, что качество сгенерированных данных сопоставимо с качеством реальных данных.
Во втором эксперименте четыре политики, DP, ACT, π0 и π0.5, были оценены как в симуляторе, так и на реальном роботе с одинаковыми начальными конфигурациями. Каждая точка оценки соответствует контрольной точке (checkpoint) политики, оценённой в обеих средах. Авторы наблюдают сильную корреляцию между двумя сериями оценок в зависимости от задач и политик. Качественно, политики, которые успешны в симуляции, успешны и на реальном роботе, а те, которые терпят неудачу в симуляции, также терпят неудачу в реальности.
Авторы указывают, что хотят расширить свою систему на более разнообразные среды и более сложные задачи манипуляции. Они также упоминают изучение того, как производительность таких моделей меняется в зависимости от объёма данных взаимодействия и вычислительных ресурсов — вопрос, который они считают полезным для создания более крупных мировых моделей для робототехники.
Исюань Ван — аспирант последнего года обучения по информатике в Колумбийском университете и научный сотрудник NVIDIA Seattle Robotics Lab. Проект представлен на специальной странице, где симулятор можно протестировать в браузере с клавиатурой.
