Hugging Face pubblica script e container per affinare TRELLIS.2, un popolare modello di generazione 3D, a partire dai propri file 3D. Questi strumenti possono funzionare in locale o su Hugging Face Jobs. In un esperimento sulle scarpe, gli autori riferiscono che le suole generate dal modello adattato sono significativamente più vicine alle scansioni di riferimento.
- Hugging Face pubblica script e container per affinare TRELLIS.2 sui propri file 3D.
- Gli adattatori LoRA modificano solo i due componenti che determinano la geometria.
- Il punteggio F medio sale da 0,276 a 0,803 sugli oggetti di test.
- Le suole generate si avvicinano molto di più alle scansioni di riferimento.
Un modello generalista, dettagli imprecisi
La generazione 3D serve ad esempio alla robotica, alla simulazione, ai media e all’intrattenimento. In questi ambiti, gli oggetti prodotti devono rispettare regole rigide, cosa che rimane difficile da ottenere con un modello polivalente. Il modello TRELLIS, e poi TRELLIS.2 dello stesso team, utilizza una rappresentazione latente comune che può essere convertita in diversi formati, come GLB o PLY. Non permette tuttavia, così com’è, di adattarlo facilmente a un compito specifico.
Gli autori hanno quindi testato l’affinamento su un sottoinsieme di 188 oggetti di calzature provenienti da Google Scanned Objects (GSO), un dataset che conta 1.030 oggetti in totale. Nei primi test, il modello base produceva in genere scarpe dall’aspetto corretto, ma con suole imprecise. L’obiettivo era verificare se un adattatore LoRA, cioè un piccolo modulo addestrato mantenendo fissi i pesi del modello originale, potesse migliorare la precisione delle suole.
Quali parti del modello addestrare
TRELLIS.2 funziona in cinque fasi: rimozione dello sfondo dell’immagine, codifica dell’immagine in « token » (unità di dati processate dal modello), predizione della struttura grezza, generazione della geometria dettagliata, poi generazione dei materiali. Gli autori hanno aggiunto adattatori LoRA solo al trasformatore di diffusione che predice la struttura grezza e a quello che genera la forma, poiché questi due componenti determinano la geometria.
La fase di texture è stata lasciata intatta. Il dataset contiene mappe di colore che integrano già l’illuminazione, e non le mappe di materiali separate necessarie per questo addestramento. Gli autori temono anche che un addestramento su questi dati possa far apprendere al modello l’illuminazione come una proprietà della superficie, o fargli dimenticare ciò che già sapeva, un fenomeno chiamato « oblio catastrofico ». La configurazione scelta conta circa 9,3 milioni di parametri addestrabili in totale per i due componenti.
La preparazione, effettuata con Blender su un job a100-large, ha richiesto circa un’ora per i 188 oggetti. Nove oggetti sono stati riservati alla valutazione, e 179 sono serviti per l’addestramento. Ogni addestramento è girato su una A100 da 80 GB. Il ramo di struttura è durato 7,2 ore, e quello della forma 3,6 ore.
Punteggi più alti sugli oggetti riservati
Sui nove oggetti di test, il punteggio F medio, che misura sia la precisione che la copertura della superficie, passa da 0,276 per il modello base a 0,803 per il modello con adattatori. La distanza di Chamfer, che misura lo scarto tra due superfici (più è bassa, meglio è), scende da 0,174 a 0,033. La coerenza delle normali, che descrive l’accordo delle direzioni di superficie, sale da 0,530 a 0,804. Il punteggio F è migliore su tutti e nove gli oggetti.
Gli autori sottolineano che le curve di perdita dell’addestramento non misurano direttamente la qualità della geometria generata. Gli adattatori, la loro configurazione e gli adattatori addestrati sono pubblicati, e il repository GitHub associato permette di modificare gli script. Gli autori citano infine altre piste, come Pixal3D, UniLat3D, HunyuanWorld 2.0 e NVIDIA Lyra 2.0.
