Hugging Face veröffentlicht Skripte und Container, um TRELLIS.2, ein beliebtes 3D-Generierungsmodell, mit eigenen 3D-Dateien zu verfeinern. Diese Tools können lokal oder auf Hugging Face Jobs laufen. In einem Experiment mit Schuhen berichten die Autoren, dass die vom angepassten Modell generierten Sohlen deutlich näher an den Referenzscans liegen.
Ein Generalistenmodell, ungenaue Details
3D-Generierung dient unter anderem der Robotik, Simulation, Medien und Unterhaltung. In diesen Bereichen müssen die erzeugten Objekte strenge Regeln einhalten, was mit einem vielseitigen Modell schwer zu erreichen bleibt. Das Modell TRELLIS und später TRELLIS.2 desselben Teams nutzt eine gemeinsame latente Darstellung, die in verschiedene Formate wie GLB oder PLY umgewandelt werden kann. Es erlaubt jedoch nicht ohne Weiteres, es leicht für eine bestimmte Aufgabe anzupassen.
Die Autoren testeten daher die Feinabstimmung an einer Teilmenge von 188 Fußbekleidungsobjekten aus Google Scanned Objects (GSO), einem Datensatz mit insgesamt 1.030 Objekten. Bei ersten Tests produzierte das Basismodell im Allgemeinen optisch korrekte Schuhe, aber mit ungenauen Sohlen. Das Ziel war zu prüfen, ob ein LoRA-Adapter, also ein kleines Modul, das trainiert wird, während die Gewichte des Originalmodells fixiert bleiben, die Genauigkeit der Sohlen verbessern könnte.
Welche Teile des Modells trainieren
TRELLIS.2 arbeitet in fünf Schritten: Entfernung des Bildhintergrunds, Kodierung des Bildes in ‘Tokens’ (vom Modell verarbeitete Dateneinheiten), Vorhersage der groben Struktur, Erzeugung der detaillierten Geometrie und dann Generierung der Materialien. Die Autoren fügten LoRA-Adapter nur dem Diffusionstransformer hinzu, der die grobe Struktur vorhersagt, und demjenigen, der die Form generiert, da diese beiden Komponenten die Geometrie bestimmen.
Der Texturschritt wurde unverändert gelassen. Der Datensatz enthält Farbkarten, die bereits die Beleuchtung integrieren, nicht die für dieses Training benötigten separaten Materialkarten. Die Autoren befürchten auch, dass ein Training mit diesen Daten dem Modell die Beleuchtung als Oberflächeneigenschaft beibringen oder es bereits Gelerntes vergessen lassen könnte, ein Phänomen namens ‘katastrophales Vergessen’. Die gewählte Konfiguration umfasst insgesamt etwa 9,3 Millionen trainierbare Parameter für die beiden Komponenten.
Die Vorbereitung, durchgeführt mit Blender auf einem a100-large Job, dauerte etwa eine Stunde für die 188 Objekte. Neun Objekte wurden für die Evaluation reserviert und 179 für das Training verwendet. Jedes Training lief auf einer A100 mit 80 GB. Der Strukturzweig dauerte 7,2 Stunden und der Formzweig 3,6 Stunden.
Höhere Scores bei den reservierten Objekten
Bei den neun Testobjekten steigt der durchschnittliche F-Score, der sowohl die Präzision als auch die Abdeckung der Oberfläche misst, von 0,276 für das Basismodell auf 0,803 für das Modell mit Adaptern. Die Chamfer-Distanz, die den Abstand zwischen zwei Oberflächen misst (je niedriger, desto besser), sinkt von 0,174 auf 0,033. Die Konsistenz der Normalen, die die Übereinstimmung der Oberflächenrichtungen beschreibt, steigt von 0,530 auf 0,804. Der F-Score ist bei allen neun Objekten besser.
Die Autoren betonen, dass die Trainingsverlustkurven nicht direkt die Qualität der generierten Geometrie messen. Die Adapter, ihre Konfiguration und die trainierten Adapter werden veröffentlicht, und das zugehörige GitHub-Repository ermöglicht es, die Skripte zu ändern. Die Autoren nennen schließlich andere Ansätze wie Pixal3D, UniLat3D, HunyuanWorld 2.0 und NVIDIA Lyra 2.0.
