A Hugging Face publica scripts e contentores para afinar o TRELLIS.2, um modelo popular de geração 3D, a partir dos seus próprios ficheiros 3D. Estas ferramentas podem funcionar localmente ou nos Hugging Face Jobs. Numa experiência com sapatos, os autores relatam que as solas geradas pelo modelo afinado estão significativamente mais próximas das digitalizações de referência.
Um modelo generalista, detalhes imprecisos
A geração 3D serve, nomeadamente, para a robótica, simulação, media e entretenimento. Nestes domínios, os objetos produzidos devem respeitar regras estritas, o que continua difícil de obter com um modelo polivalente. O modelo TRELLIS, e depois o TRELLIS.2 da mesma equipa, usa uma representação latente comum que pode ser convertida em diferentes formatos, como GLB ou PLY. No entanto, no seu estado atual, não permite adaptá-lo facilmente a uma tarefa específica.
Os autores testaram, portanto, o afinamento num subconjunto de 188 objetos de calçado provenientes do Google Scanned Objects (GSO), um conjunto de dados que conta com 1 030 objetos no total. Nos primeiros testes, o modelo de base produzia geralmente sapatos com aparência correta, mas com solas imprecisas. O objetivo era verificar se um adaptador LoRA, ou seja, um pequeno módulo treinado mantendo fixos os pesos do modelo original, poderia melhorar a precisão das solas.
Que partes do modelo treinar
O TRELLIS.2 funciona em cinco etapas: remoção do fundo da imagem, codificação da imagem em « tokens » (unidades de dados processadas pelo modelo), previsão da estrutura grosseira, geração da geometria detalhada e, depois, geração dos materiais. Os autores adicionaram adaptadores LoRA apenas ao transformador de difusão que prevê a estrutura grosseira e ao que gera a forma, porque estes dois componentes determinam a geometria.
A etapa de textura foi deixada intacta. O conjunto de dados contém mapas de cor que já integram a iluminação, e não os mapas de materiais separados necessários para este treino. Os autores receiam também que um treino com estes dados faça o modelo aprender a iluminação como uma propriedade da superfície, ou o faça esquecer o que já sabia, um fenómeno chamado « esquecimento catastrófico ». A configuração adotada conta com cerca de 9,3 milhões de parâmetros treináveis no total para os dois componentes.
O trabalho preparatório, realizado com o Blender num job a100-large, demorou cerca de uma hora para os 188 objetos. Nove objetos foram reservados para avaliação, e 179 serviram para o treino. Cada treino foi executado num A100 de 80 GB. O ramo da estrutura durou 7,2 horas, e o da forma 3,6 horas.
Pontuações mais elevadas nos objetos reservados
Nos nove objetos de teste, a pontuação F média, que mede tanto a precisão como a cobertura da superfície, passa de 0,276 para o modelo de base para 0,803 para o modelo com adaptadores. A distância de Chamfer, que mede o desvio entre duas superfícies (quanto mais baixa, melhor), desce de 0,174 para 0,033. A coerência das normais, que descreve o acordo das direções da superfície, sobe de 0,530 para 0,804. A pontuação F é melhor nos nove objetos.
Os autores sublinham que as curvas de perda de treino não medem diretamente a qualidade da geometria gerada. Os adaptadores, a sua configuração e os adaptadores treinados são publicados, e o repositório GitHub associado permite modificar os scripts. Os autores citam ainda outras pistas, como o Pixal3D, UniLat3D, HunyuanWorld 2.0 e NVIDIA Lyra 2.0.
