Hugging Face publiceert scripts en containers om TRELLIS.2, een populair 3D-generatiemodel, te verfijnen met eigen 3D-bestanden. Deze tools kunnen lokaal of op Hugging Face Jobs draaien. In een experiment met schoenen melden de auteurs dat de door het aangepaste model gegenereerde zolen aanzienlijk dichter bij de referentiescans liggen.
Een generalistisch model, onnauwkeurige details
3D-generatie wordt onder meer gebruikt voor robotica, simulatie, media en entertainment. In deze domeinen moeten de geproduceerde objecten strikte regels volgen, wat moeilijk te bereiken blijft met een veelzijdig model. Het model TRELLIS, en later TRELLIS.2 van hetzelfde team, gebruikt een gemeenschappelijke latente representatie die kan worden omgezet naar verschillende formaten, zoals GLB of PLY. Het staat echter niet toe om het in zijn huidige staat gemakkelijk aan te passen voor een specifieke taak.
De auteurs testten daarom fine-tuning op een subset van 188 schoenobjecten uit Google Scanned Objects (GSO), een dataset met in totaal 1.030 objecten. In eerste tests produceerde het basismodel over het algemeen schoenen met een correct uiterlijk, maar met onnauwkeurige zolen. Het doel was om te controleren of een LoRA-adapter, een kleine module getraind terwijl de gewichten van het originele model vast blijven, de nauwkeurigheid van de zolen kon verbeteren.
Welke delen van het model te trainen
TRELLIS.2 werkt in vijf stappen: verwijdering van de achtergrond van de afbeelding, codering van de afbeelding in ‘tokens’ (gegevensverwerkingseenheden van het model), voorspelling van de grove structuur, generatie van gedetailleerde geometrie en vervolgens generatie van materialen. De auteurs voegden LoRA-adapters alleen toe aan de diffusietransformator die de grove structuur voorspelt en aan die welke de vorm genereert, omdat deze twee componenten de geometrie bepalen.
De textuurstap werd onaangeroerd gelaten. De dataset bevat kleurkaarten die al belichting integreren, en niet de gescheiden materiaalkaarten die nodig zijn voor deze training. De auteurs vrezen ook dat training op deze gegevens het model belichting als een oppervlakte-eigenschap zou laten leren, of zou laten vergeten wat het al wist, een fenomeen genaamd ‘catastrofale vergetelheid’. De gekozen configuratie telt in totaal ongeveer 9,3 miljoen trainbare parameters voor de twee componenten.
De voorbereiding, uitgevoerd met Blender op een a100-large job, duurde ongeveer een uur voor de 188 objecten. Negen objecten werden gereserveerd voor evaluatie, en 179 werden gebruikt voor training. Elke training draaide op een A100 met 80 GB. De structuurtak duurde 7,2 uur, en die van de vorm 3,6 uur.
Hogere scores op de gereserveerde objecten
Op de negen testobjecten stijgt de gemiddelde F-score, die zowel de nauwkeurigheid als de dekking van het oppervlak meet, van 0,276 voor het basismodel naar 0,803 voor het model met adapters. De Chamfer-afstand, die de afwijking tussen twee oppervlakken meet (hoe lager, hoe beter), daalt van 0,174 naar 0,033. De consistentie van normalen, die de overeenstemming van oppervlakrichtingen beschrijft, stijgt van 0,530 naar 0,804. De F-score is beter op alle negen objecten.
De auteurs benadrukken dat de trainingsverliescurves niet direct de kwaliteit van de gegenereerde geometrie meten. De adapters, hun configuratie en de getrainde adapters worden gepubliceerd, en de bijbehorende GitHub-repository maakt het mogelijk de scripts aan te passen. De auteurs noemen ten slotte andere benaderingen, zoals Pixal3D, UniLat3D, HunyuanWorld 2.0 en NVIDIA Lyra 2.0.
