تقدم Hugging Face نصوصًا برمجية وحاويات لضبط نموذج TRELLIS.2، وهو نموذج شائع لتوليد المحتوى ثلاثي الأبعاد، باستخدام ملفات ثلاثية الأبعاد خاصة به. يمكن لهذه الأدوات العمل محليًا أو على Hugging Face Jobs. في تجربة ركزت على الأحذية، أفاد المؤلفون أن النعال التي ولدها النموذج المُعدّ كانت أقرب بكثير إلى المسوح الضوئية المرجعية.
نموذج عام، تفاصيل غير دقيقة
يُستخدم توليد المحتوى ثلاثي الأبعاد في مجالات مثل الروبوتات والمحاكاة والإعلام والترفيه. في هذه المجالات، يجب أن تلتزم الأشياء المنتجة بقواعد صارمة، وهو ما يظل من الصعب تحقيقه باستخدام نموذج متعدد الأغراض. يستخدم نموذج TRELLIS، ثم TRELLIS.2 من نفس الفريق، تمثيلًا كامنًا مشتركًا يمكن تحويله إلى صيغ مختلفة، مثل GLB أو PLY. ومع ذلك، لا يسمح في حالته الأصلية بتعديله بسهولة لمهمة محددة.
لذلك اختبر المؤلفون عملية الضبط الدقيق على مجموعة فرعية مكونة من 188 عنصرًا من الأحذية مأخوذة من Google Scanned Objects (GSO)، وهي مجموعة بيانات تضم 1,030 عنصرًا إجمالًا. في الاختبارات الأولية، كان النموذج الأساسي ينتج عمومًا أحذية ذات مظهر صحيح، لكن بنعال غير دقيقة. كان الهدف هو التحقق مما إذا كان محول LoRA، أي وحدة صغيرة يتم تدريبها مع الحفاظ على أوزان النموذج الأصلي ثابتة، يمكنه تحسين دقة النعال.
أي أجزاء النموذج يتم تدريبها
يعمل TRELLIS.2 في خمس مراحل: إزالة خلفية الصورة، وتشفير الصورة إلى «رموز» (وحدات بيانات يعالجها النموذج)، وتنبؤ بالهيكل الخام، وتوليد هندسة مفصلة، ثم توليد المواد. أضاف المؤلفون محولات LoRA فقط إلى محول الانتشار الذي يتنبأ بالهيكل الخام وإلى المحول الذي يولد الشكل، لأن هذين المكونين يحددان الهندسة.
تم ترك مرحلة النسيج كما هي. تحتوي مجموعة البيانات على خرائط ألوان تتضمن الإضاءة بالفعل، وليس خرائط المواد المنفصلة اللازمة لهذا التدريب. كما يخشى المؤلفون من أن التدريب على هذه البيانات قد يجعل النموذج يتعلم الإضاءة كخاصية سطحية، أو قد ينسى ما يعرفه بالفعل، وهي ظاهرة تُعرف باسم «النسيان الكارثي». تضم التكوينة المعتمدة حوالي 9.3 مليون معلمة قابلة للتدريب إجمالًا للمكونين.
استغرق الإعداد الأولي، الذي تم باستخدام Blender على مهمة a100-large، حوالي ساعة واحدة لـ 188 عنصرًا. تم تخصيص تسعة عناصر للتقييم، وتم استخدام 179 عنصرًا للتدريب. تم تشغيل كل دورة تدريبية على A100 بسعة 80 جيجابايت. استغرقت مرحلة الهيكل 7.2 ساعة، ومرحلة الشكل 3.6 ساعة.
درجات أعلى على العناصر المحجوزة
على العناصر التسعة المخصصة للاختبار، يرتفع متوسط درجة F، التي تقيس الدقة وتغطية السطح معًا، من 0.276 للنموذج الأساسي إلى 0.803 للنموذج مع المحولات. تنخفض مسافة Chamfer، التي تقيس الفرق بين سطحين (كلما كانت أقل كان أفضل)، من 0.174 إلى 0.033. تتحسن اتساق المتجهات العمودية، التي تصف توافق اتجاهات السطح، من 0.530 إلى 0.804. كانت درجة F أفضل على جميع العناصر التسعة.
يشير المؤلفون إلى أن منحنيات فقدان التدريب لا تقيس جودة الهندسة المُولدة بشكل مباشر. تم نشر المحولات وتكوينها والمحولات المدربة، ويسمح المستودع المرتبط على GitHub بتعديل النصوص البرمجية. أخيرًا، يستشهد المؤلفون بمسارات أخرى، مثل Pixal3D وUniLat3D وHunyuanWorld 2.0 وNVIDIA Lyra 2.0.
