3D生成モデルのファインチューニング方法を解説する決定版ガイド

汎用モデルと不正確なディテール

3D生成は、ロボティクス、シミュレーション、メディア、エンターテインメントなどに利用される。これらの分野では、生成されるオブジェクトが厳格な仕様を満たす必要があるが、汎用モデルではこれを実現するのは難しい。TRELLIS、およびその後継モデルである同チームのTRELLIS.2は、GLBやPLYなど様々なフォーマットに変換可能な共通の潜在表現を使用している。しかし、そのままでは特定のタスクに容易に適応させることはできない。

そこで著者らは、Google Scanned Objects (GSO)データセット（全1,030オブジェクト）の一部である188個の履物オブジェクトを用いてファインチューニングをテストした。初期テストでは、ベースモデルは概ね見た目が正しい靴を生成するが、靴底の形状が不正確だった。目標は、元のモデルの重みを固定したまま学習する小型モジュールであるLoRAアダプターが、靴底の精度向上に寄与できるかどうかを検証することだった。

モデルのどの部分を学習させるか

TRELLIS.2は5段階で動作する：画像背景除去、画像の「トークン」へのエンコード（モデルが処理するデータ単位）、大まかな構造の予測、詳細な形状の生成、そしてマテリアルの生成。著者らは、形状を決定するこれら2つのコンポーネントにのみ、LoRAアダプターを追加した。

テクスチャ生成のステップはそのまま残された。データセットには、この学習に必要な分離されたマテリアルマップではなく、照明情報が既に含まれたカラーマップが含まれている。著者らは、このデータで学習させると、モデルが照明を表面特性として学習してしまうこと、あるいは既に学習した知識を忘れてしまう「破滅的忘却」が起こることを懸念している。採用された構成では、2つのコンポーネントで合計約930万の学習可能パラメータとなる。

a100-largeジョブ上でBlenderを用いた前処理には、188オブジェクトで約1時間を要した。評価用に9オブジェクトが確保され、179オブジェクトが学習に使用された。各学習は80GBのA100上で実行された。構造生成のブランチは7.2時間、形状生成のブランチは3.6時間かかった。

確保されたオブジェクトでの高スコア

テスト用9オブジェクトにおいて、表面の精度と網羅性の両方を測る平均Fスコアは、ベースモデルの0.276から、アダプター適用モデルの0.803へと向上した。2つの表面間の誤差を測るチャンファー距離（低いほど良い）は、0.174から0.033へ低下した。表面方向の一致度を表す法線一貫性は、0.530から0.804へ上昇した。Fスコアは9オブジェクト全てで改善した。

著者らは、学習損失曲線が生成される形状の質を直接測るものではないと指摘している。アダプター、その構成、学習済みアダプターは公開されており、関連するGitHubリポジトリではスクリプトの変更が可能だ。著者らは最後に、Pixal3D、UniLat3D、HunyuanWorld 2.0、NVIDIA Lyra 2.0などの他のアプローチにも言及している。