Hugging Face publica scripts y contenedores para afinar TRELLIS.2, un modelo popular de generación 3D, a partir de sus propios archivos 3D. Estas herramientas pueden funcionar en local o en Hugging Face Jobs. En un experimento con calzado, los autores reportan que las suelas generadas por el modelo adaptado son notablemente más cercanas a los escaneos de referencia.
Un modelo generalista, detalles imprecisos
La generación 3D sirve, entre otros, para robótica, simulación, medios y entretenimiento. En estos campos, los objetos producidos deben respetar reglas estrictas, lo que sigue siendo difícil de obtener con un modelo polivalente. El modelo TRELLIS, y luego TRELLIS.2 del mismo equipo, utiliza una representación latente común que puede convertirse a diferentes formatos, como GLB o PLY. Sin embargo, en su estado actual, no permite adaptarlo fácilmente a una tarea específica.
Por ello, los autores probaron el afinado en un subconjunto de 188 objetos de calzado procedentes de Google Scanned Objects (GSO), un conjunto de datos que cuenta con 1.030 objetos en total. En las primeras pruebas, el modelo base producía generalmente zapatos de apariencia correcta, pero con suelas inexactas. El objetivo era verificar si un adaptador LoRA, es decir, un pequeño módulo entrenado manteniendo fijos los pesos del modelo original, podía mejorar la precisión de las suelas.
Qué partes del modelo entrenar
TRELLIS.2 funciona en cinco etapas: eliminación del fondo de la imagen, codificación de la imagen en « tokens » (unidades de datos procesadas por el modelo), predicción de la estructura gruesa, generación de la geometría detallada y luego generación de los materiales. Los autores añadieron adaptadores LoRA solo al transformador de difusión que predice la estructura gruesa y al que genera la forma, ya que estos dos componentes determinan la geometría.
La etapa de textura se dejó intacta. El conjunto de datos contiene mapas de color que ya incorporan la iluminación, y no los mapas de materiales separados necesarios para este entrenamiento. Los autores también temen que un entrenamiento con estos datos haga que el modelo aprenda la iluminación como una propiedad de la superficie, o que olvide lo que ya sabía, un fenómeno llamado « olvido catastrófico ». La configuración elegida cuenta con aproximadamente 9,3 millones de parámetros entrenables en total para los dos componentes.
El trabajo preparatorio, realizado con Blender en un job a100-large, tomó aproximadamente una hora para los 188 objetos. Nueve objetos se reservaron para la evaluación, y 179 se usaron para el entrenamiento. Cada entrenamiento se ejecutó en un A100 de 80 GB. La rama de estructura duró 7,2 horas, y la de la forma 3,6 horas.
Puntuaciones más altas en los objetos reservados
En los nueve objetos de prueba, la puntuación F media, que mide tanto la precisión como la cobertura de la superficie, pasa de 0,276 para el modelo base a 0,803 para el modelo con adaptadores. La distancia de Chamfer, que mide la desviación entre dos superficies (cuanto más baja, mejor), baja de 0,174 a 0,033. La coherencia de las normales, que describe la concordancia de las direcciones de la superficie, sube de 0,530 a 0,804. La puntuación F es mejor en los nueve objetos.
Los autores destacan que las curvas de pérdida de entrenamiento no miden directamente la calidad de la geometría generada. Los adaptadores, su configuración y los adaptadores entrenados se publican, y el repositorio de GitHub asociado permite modificar los scripts. Los autores citan finalmente otras vías, como Pixal3D, UniLat3D, HunyuanWorld 2.0 y NVIDIA Lyra 2.0.
