Hugging Face publikuje skrypty i kontenery do dostrajania TRELLIS.2, popularnego modelu generacji 3D, na podstawie własnych plików 3D. Narzędzia te mogą działać lokalnie lub na Hugging Face Jobs. W eksperymencie dotyczącym butów autorzy raportują, że podeszwy wygenerowane przez dostrojony model są znacznie bliższe referencyjnym skanom.
Model ogólny, niedokładne szczegóły
Generacja 3D służy m.in. robotyce, symulacjom, mediom i rozrywce. W tych dziedzinach wytwarzane obiekty muszą spełniać ścisłe wymagania, co nadal jest trudne do osiągnięcia za pomocą modelu uniwersalnego. Model TRELLIS, a następnie TRELLIS.2 tej samej ekipy, wykorzystuje wspólną reprezentację latentną, którą można konwertować na różne formaty, jak GLB czy PLY. Nie pozwala jednak, w obecnej postaci, na łatwą adaptację do konkretnego zadania.
Autorzy przetestowali więc dostrajanie na podzbiorze 188 obiektów z kategorii obuwia z Google Scanned Objects (GSO), zestawu danych liczącego w sumie 1030 obiektów. W pierwszych testach model bazowy zazwyczaj generował buty o poprawnej estetyce, ale z niedokładnymi podeszwami. Celem było sprawdzenie, czy adapter LoRA, czyli mały moduł trenowany przy zamrożonych wagach oryginalnego modelu, może poprawić dokładność podeszw.
Które części modelu trenować
TRELLIS.2 działa w pięciu etapach: usunięcie tła obrazu, zakodowanie obrazu w „tokeny » (jednostki danych przetwarzane przez model), predykcja struktury zgrubnej, generowanie szczegółowej geometrii, a następnie generowanie materiałów. Autorzy dodali adaptery LoRA tylko do transformera dyfuzji przewidującego strukturę zgrubną i do tego generującego kształt, ponieważ te dwa komponenty determinują geometrię.
Etap teksturowania pozostawiono nietknięty. Zbiór danych zawiera mapy kolorów, które już uwzględniają oświetlenie, a nie oddzielne mapy materiałów potrzebne do tego treningu. Autorzy obawiają się też, że trening na tych danych może nauczyć model traktowania oświetlenia jako właściwości powierzchni lub sprawić, że zapomni on to, co już wiedział – zjawisko zwane „katastrofalnym zapominaniem ». Przyjęta konfiguracja obejmuje około 9,3 miliona parametrów możliwych do wytrenowania dla obu komponentów.
Przygotowanie, wykonane w Blenderze na jobie a100-large, zajęło około godziny dla 188 obiektów. Dziewięć obiektów zarezerwowano do ewaluacji, a 179 użyto do treningu. Każdy trening był uruchamiany na A100 80 GB. Gałąź struktury trwała 7,2 godziny, a gałąź kształtu 3,6 godziny.
Wyższe wyniki na obiektach zarezerwowanych
Dla dziewięciu obiektów testowych średni wynik F, który mierzy zarówno precyzję, jak i pokrycie powierzchni, wzrasta z 0,276 dla modelu bazowego do 0,803 dla modelu z adapterami. Odległość Chamfera, mierząca różnicę między dwiema powierzchniami (im niższa, tym lepiej), spada z 0,174 do 0,033. Spójność normalnych, opisująca zgodność kierunków powierzchni, rośnie z 0,530 do 0,804. Wynik F jest lepszy dla wszystkich dziewięciu obiektów.
Autorzy podkreślają, że krzywe straty treningowej nie mierzą bezpośrednio jakości wygenerowanej geometrii. Adaptery, ich konfiguracja oraz wytrenowane adaptery są publikowane, a powiązane repozytorium GitHub umożliwia modyfikację skryptów. Autorzy wymieniają w końcu inne podejścia, takie jak Pixal3D, UniLat3D, HunyuanWorld 2.0 i NVIDIA Lyra 2.0.
