قدمت Black Forest Labs نموذج FLUX.3 Image Klein، وهو نموذج يتعامل مع توليد الصور من النص وتعديل الصور من صورة مرجعية واحدة أو أكثر. يضيف وظيفة جديدة هي التحكم في التخطيط، والتي تسمح بتحديد مكان كل عنصر في الصورة. هناك نقطتا تحكم مفتوحتان متاحتان، ويعمل النموذج في مكتبة Diffusers منذ إطلاقه.
لتحديد هذا التخطيط، يكتب المستخدم في الـ prompt قائمة مناطق بتنسيق JSON، بعد وصف الصورة. كل منطقة لها مُعرِّف، ومربع محيط (bbox)، ووصف. تُكتب الإحداثيات بالشكل [y_min, x_min, y_max, x_max]، مع y أولاً، على مقياس من 0 إلى 1000. يسمح هذا المقياس الموحد باستخدام نفس المربع بغض النظر عن حجم الصورة.
تنتج نقطة التحكم المقطرة صورة بحجم 1024 × 1024 بكسل في 16 خطوة افتراضياً. وفقاً للقياسات المنشورة، يستغرق توليد الصور من النص 1.93 ثانية على بطاقة رسومية واحدة من نوع NVIDIA H80 سعة 80 جيجابايت، مع ذروة استخدام للذاكرة تبلغ 23.8 جيجابايت. تضاعف صورة مرجعية بنفس الحجم وقت الحساب تقريباً، ليصبح 3.87 ثانية. بالنسبة للأجهزة ذات الذاكرة الأقل، تقلل المتغيرات ذات التنسيق أحادي الملف، مثل fp8r و nvfp4، من المتطلبات. تصل ذروة الذاكرة بعد الاستدلال إلى 15.3 جيجابايت لـ nvfp4 على RTX6000، مقارنة بـ 16.27 جيجابايت لـ fp8r و 20.72 جيجابايت لـ bf16 على H100.
هندسة ذات مرحلتين
يتعامل النموذج مع ثلاثة أنواع من الرموز: النص، والصورة المشوشة قيد التوليد، وربما الصور المرجعية. المشفر النصي هو Qwen3-VL، وهو نموذج رؤية ولغة. لا يحتفظ FLUX.3 فقط بالطبقة الأخيرة من هذا النموذج: بل يقرأ الحالات المخفية لثماني من طبقاته الـ 36 ويجمعها، مما يعطي كل رمز نصي متجهًا بأبعاد 20480، يُسقط لاحقاً على عرض 3072.
يعالج المحول هذه الرموز على مرحلتين. المرحلة الأولى تضم 5 كتل، بأوزان خاصة بكل تدفق، لا ترى بعضها البعض. تجمع المرحلة الثانية التدفقات في تسلسل واحد، « نص | صورة | مرجع »، وتمرره عبر 28 كتل بأوزان مشتركة. في هذه المرحلة الثانية، يمكن للصورة الاستفادة من النص والمراجع. ثم تُستبعد رموز النص والمراجع، وتمر فقط رموز الصورة عبر طبقات الإخراج.
خاصية أخرى تتعلق بجدول التشويش. في FLUX.1 و FLUX.2، يعدل تضمين زمني واحد جميع الرموز. في FLUX.3، يعتمد التعديل على نوع الرمز: تتلقى رموز الصورة الخطوة الزمنية الحالية، بينما تتلقى رموز النص والمراجع دائماً الخطوة صفر، والتي تعني « نظيفة، لا شيء لإزالة التشويش عنه ».
تدريب LoRA
يعمل النموذج الأساسي في 50 خطوة مع توجيه غير مصنف، وهو ما توصي به الفريق للضبط الدقيق. توفر Diffusers نصوصاً لتدريب LoRA، وهي محولات صغيرة تُركب على النموذج، لتوليد الصور من النص وتعديل الصور. تشير المصادر أيضاً إلى AI Toolkit من Ostris كأداة أخرى محتملة. مثال معروض في المقال يدرب نمطاً لبطاقات تارو من مجموعة بيانات عامة، مع 1500 خطوة تدريب ومرتبة 16. المحولات المنتجة متاحة على الـ Hub، تحت اسم diffusers-modular/flux3-tarot-lora.
لكتابة prompts جيدة، تنشر Black Forest Labs دليلاً رسمياً للـ prompting. يوضح المقال أن FLUX.3 يستجيب بشكل أفضل للوصف الكامل للمشهد، مع الموضوع، والخلفية، والإضاءة، والتكوين، والأسلوب.
