Опубликованное на Hugging Face руководство показывает, как собрать в Isaac Sim роботизированную руку UR17G, захват Robotiq 2F-140 и банку напитка, а затем поручить агенту выполнить задачу по захвату и перемещению. Пример основан на ассетах SimReady — цифровых объектах, подготовленных для точного использования в симуляции.
Для робототехники ассет SimReady — это объект в формате OpenUSD, к которому добавлены свойства, необходимые для конкретного сценария использования, такие как коллизии, масса, сочленения и их приводы. Открытая библиотека SimReady Central, размещенная на Hugging Face, позволяет повторно использовать роботов и объекты вместе с их настройками симуляции и отчетами о валидации.
Что делает робота совместимым с симуляцией
Спецификация SimReady Foundation определяет характеристики, которыми должен обладать ассет для конкретного случая использования. Она связывает три уровня: профиль, который объединяет функции для определенного применения, например, корпус робота; функциональные возможности, то есть требуемые способности, например, управляемые сочленения; и требования, которые представляют собой проверки настроек каждой функциональности, например, параметры привода сочленения.
В этом примере эти свойства касаются сочленений руки и захвата, а также коллизий и массы банки. Валидация сопоставляет эти настройки с требованиями профиля, после чего симуляция проверяет, может ли собранный робот использовать их для захвата и перемещения объекта. Отчет о валидации руки использует профиль Robot-Body 4.0.0, а захвата — профиль Robot-Gripper 3.0.0. В обоих зафиксировано успешное прохождение проверок PhysX на приводах сочленений, которые анализируют настройки этих приводов.
Собрать сцену и запустить задачу
После загрузки трех ассетов автор просит агента — программу, которая может управлять инструментами на основе инструкций, — собрать руку и захват в единый узел, а затем провести валидацию сборки. В руководстве используется модель GPT-6 Sol, и отмечается, что другие комбинации агента и модели могут работать при условии возможности загрузить необходимые навыки и выполнять код Python в Isaac Sim. Сгенерированный код и результаты могут различаться, и статья рекомендует проверять код перед адаптацией.
Задача заключается в захвате банки, ее подъеме, перемещении к цели и отпускании. Проверки охватывают три аспекта: пределы и настройки сочленений, небольшое движение руки с последующим открытием и закрытием захвата, а также удержание банки на рабочей поверхности без ее проникновения сквозь нее. Видео демонстрирует перенос банки из желтой системы координат к зеленой цели в четыре раза быстрее реального времени.
Автор указывает на ограничения этого примера. Конфигурация фиксированная, без системы зрения, с ограниченными проверками коллизий. Банка упрощена и не воспроизводит ни деформацию, ни движение жидкости. Горизонтальный захват использует предельный момент в 2 Н·м, выбранный на основе симуляционных тестов, который не откалиброван по силам на кончиках пальцев и не рекомендован производителем. Следовательно, эти результаты не демонстрируют надежность при неопределенном положении объектов, различных нагрузках или работе с реальным оборудованием.
Разработчиков приглашают поделиться своей сценой и результатами в комментариях на Hugging Face, указав использованные ассеты и версию Isaac Sim.
