Hugging Face опубликовала скрипты и контейнеры для тонкой настройки TRELLIS.2, популярной модели генерации 3D, на основе собственных 3D-файлов. Эти инструменты могут работать локально или на Hugging Face Jobs. В эксперименте с обувью авторы сообщают, что подошвы, сгенерированные адаптированной моделью, значительно ближе к эталонным сканам.
Универсальная модель, неточные детали
Генерация 3D используется, в частности, в робототехнике, симуляции, медиа и развлечениях. В этих областях создаваемые объекты должны соответствовать строгим правилам, чего сложно добиться с помощью универсальной модели. Модель TRELLIS, а затем TRELLIS.2 от той же команды, использует общее латентное представление, которое можно конвертировать в различные форматы, такие как GLB или PLY. Однако в исходном виде она не позволяет легко адаптироваться к конкретной задаче.
Поэтому авторы протестировали тонкую настройку на подмножестве из 188 объектов обуви из Google Scanned Objects (GSO), набора данных, который в общей сложности содержит 1030 объектов. В первых тестах базовая модель обычно создавала обувь с внешне правильным видом, но с неточными подошвами. Целью было проверить, может ли адаптер LoRA, то есть небольшой модуль, обученный при фиксированных весах исходной модели, улучшить точность подошв.
Какие части модели обучать
TRELLIS.2 работает в пять этапов: удаление фона изображения, кодирование изображения в «токены» (единицы данных, обрабатываемые моделью), предсказание грубой структуры, генерация детальной геометрии, а затем генерация материалов. Авторы добавили адаптеры LoRA только в диффузионный трансформер, предсказывающий грубую структуру, и в тот, который генерирует форму, поскольку именно эти два компонента определяют геометрию.
Этап текстурирования остался нетронутым. Набор данных содержит цветовые карты, которые уже включают освещение, а не отдельные карты материалов, необходимые для такого обучения. Авторы также опасаются, что обучение на этих данных может заставить модель воспринимать освещение как свойство поверхности или привести к забыванию ранее усвоенных знаний — явлению, известному как «катастрофическое забывание». Выбранная конфигурация включает в общей сложности около 9,3 миллиона обучаемых параметров для двух компонентов.
Подготовка, выполненная с помощью Blender на задании a100-large, заняла около часа для 188 объектов. Девять объектов были зарезервированы для оценки, а 179 использовались для обучения. Каждое обучение проводилось на A100 с 80 ГБ памяти. Обучение ветви структуры заняло 7,2 часа, а ветви формы — 3,6 часа.
Более высокие оценки на зарезервированных объектах
По девяти тестовым объектам средний показатель F-score, который измеряет как точность, так и покрытие поверхности, увеличился с 0,276 для базовой модели до 0,803 для модели с адаптерами. Расстояние Чамфера, измеряющее расхождение между двумя поверхностями (чем ниже, тем лучше), снизилось с 0,174 до 0,033. Согласованность нормалей, описывающая соответствие направлений поверхности, выросла с 0,530 до 0,804. Показатель F-score улучшился по всем девяти объектам.
Авторы подчеркивают, что кривые потерь при обучении не измеряют напрямую качество генерируемой геометрии. Адаптеры, их конфигурация и обученные адаптеры опубликованы, а связанный репозиторий GitHub позволяет изменять скрипты. Наконец, авторы упоминают другие подходы, такие как Pixal3D, UniLat3D, HunyuanWorld 2.0 и NVIDIA Lyra 2.0.
