Hugging Face publie des scripts et des conteneurs pour affiner TRELLIS.2, un modèle populaire de génération 3D, à partir de ses propres fichiers 3D. Ces outils peuvent fonctionner en local ou sur Hugging Face Jobs. Dans une expérience portant sur des chaussures, les auteurs rapportent que les semelles générées par le modèle adapté sont nettement plus proches des scans de référence.
- Hugging Face publie des scripts et des conteneurs pour affiner TRELLIS.2 avec ses propres fichiers 3D.
- Les auteurs ajoutent des adaptateurs LoRA aux deux composants qui déterminent la géométrie.
- Après affinage, les semelles générées pour des chaussures sont nettement plus proches des scans de référence.
- Le score F moyen sur les objets de test passe de 0,276 à 0,803.
Un modèle généraliste, des détails imprécis
La génération 3D sert notamment à la robotique, à la simulation, aux médias et au divertissement. Dans ces domaines, les objets produits doivent respecter des règles strictes, ce qui reste difficile à obtenir avec un modèle polyvalent. Le modèle TRELLIS, puis TRELLIS.2 de la même équipe, utilise une représentation latente commune qui peut être convertie en différents formats, comme GLB ou PLY. Il ne permet toutefois pas, en l’état, de l’adapter facilement à une tâche précise.
Les auteurs ont donc testé l’affinage sur un sous-ensemble de 188 objets de footwear issus de Google Scanned Objects (GSO), un jeu de données qui compte 1 030 objets au total. Lors des premiers tests, le modèle de base produisait en général des chaussures d’apparence correcte, mais avec des semelles inexactes. L’objectif était de vérifier si un adaptateur LoRA, c’est-à-dire un petit module entraîné en gardant fixes les poids du modèle d’origine, pouvait améliorer la précision des semelles.
Quelles parties du modèle entraîner
TRELLIS.2 fonctionne en cinq étapes : suppression du fond de l’image, encodage de l’image en « tokens » (unités de données traitées par le modèle), prédiction de la structure grossière, génération de la géométrie détaillée, puis génération des matériaux. Les auteurs ont ajouté des adaptateurs LoRA uniquement au transformeur de diffusion qui prédit la structure grossière et à celui qui génère la forme, car ces deux composants déterminent la géométrie.
L’étape de texture a été laissée intacte. Le jeu de données contient des cartes de couleur qui intègrent déjà l’éclairage, et non les cartes de matériaux séparées nécessaires à cet entraînement. Les auteurs craignent aussi qu’un entraînement sur ces données ne fasse apprendre au modèle l’éclairage comme une propriété de surface, ou ne lui fasse oublier ce qu’il savait déjà, un phénomène appelé « oubli catastrophique ». La configuration retenue compte environ 9,3 millions de paramètres entraînables au total pour les deux composants.
Le préparatoire, effectué avec Blender sur un job a100-large, a pris environ une heure pour les 188 objets. Neuf objets ont été réservés à l’évaluation, et 179 ont servi à l’entraînement. Chaque entraînement a tourné sur un A100 de 80 Go. La branche de structure a duré 7,2 heures, et celle de la forme 3,6 heures.
Des scores plus élevés sur les objets réservés
Sur les neuf objets de test, le score F moyen, qui mesure à la fois la précision et la couverture de la surface, passe de 0,276 pour le modèle de base à 0,803 pour le modèle avec adaptateurs. La distance de Chamfer, qui mesure l’écart entre deux surfaces (plus elle est basse, mieux c’est), baisse de 0,174 à 0,033. La cohérence des normales, qui décrit l’accord des directions de surface, grimpe de 0,530 à 0,804. Le score F est meilleur sur les neuf objets.
Les auteurs soulignent que les courbes de perte d’entraînement ne mesurent pas directement la qualité de la géométrie générée. Les adaptateurs, leur configuration et les adaptateurs entraînés sont publiés, et le dépôt GitHub associé permet de modifier les scripts. Les auteurs citent enfin d’autres pistes, comme Pixal3D, UniLat3D, HunyuanWorld 2.0 et NVIDIA Lyra 2.0.
