NVIDIA أطلقت Dory 1.0 4B، وهو نموذج صغير للاستدلال من Nemotron Labs، حيث تشكل طبقاته المركزية كتلة مشتركة، قابلة للتطبيق مرة، أو مرتين، أو ثلاث، أو أربع مرات على كل رمز. وفقًا لبرنامج تعليمي من MarkTechPost، يتيح هذا التشغيل تشغيل نفس الملف بأربعة مستويات حسابية مختلفة، دون إعادة تدريب.
كل مرور إضافي في الكتلة، يُسمى حلقة، يستهلك المزيد من الحساب لكل رمز دون إضافة أي معاملات إضافية. يستخدم البرنامج التعليمي محرك llama.cpp وملفًا بتنسيق GGUF حجمه 3.7 جيجابايت، بكمية Q5_K_M، أي مضغوط لتقليل حجمه في الذاكرة. إصدار llama.cpp المستخدم يتوافق مع الـ commit المثبت في صفحة نموذج NVIDIA، حيث أن دعم Dory لا يزال طلب سحب في مسودة. يختلف اسم الملف عن المذكور في الصفحة، والتي تذكر dory-q5_k_m.gguf، لذلك يوصي البرنامج التعليمي بالتحقق من حجمه وبصمة SHA-256 الخاصة به. الملف الذي تم تنزيله يتوافق مع المجموع الاختباري المنشور من NVIDIA.
هندسة تُقرأ مباشرة من الملف
رأس GGUF يصف بنية النموذج حتى قبل تحميله. يحتوي Dory على 72 مدخلاً للطبقات، موزعة على 16 طبقة إدخال، و40 طبقة متكررة، و16 طبقة إخراج. تمثل الكتلة المتكررة 1.84 مليار من أصل 3.98 مليار معلمة في النموذج.
يُشير الرأس أيضًا إلى عدد حلقات افتراضي قدره 4، بينما توصي صفحة النموذج بـ 2. لذلك، فإن خادمًا يُطلق دون خيارات صريحة سيعمل بالإعداد الأكثر تكلفة. وفقًا للبرنامج التعليمي، يجب دائمًا تعيين هذه المعلمة يدويًا.
بناءً على هذه البيانات، يُقدر البرنامج التعليمي تكلفة كل حلقة. يمر رمز واحد عبر الكتلة المتكررة مرة واحدة لكل حلقة، بحيث أن أربع حلقات تُطبق 2.51 مرة معلمات الحلقة الواحدة وتقرأ 2.28 مرة بايتات الأوزان، حيث أن قراءة الأوزان هي العامل الحاسم لفك التشفير المحدود بالذاكرة. ذاكرة التخزين المؤقت KV، وهي الذاكرة التي تحتفظ بحسابات الرموز السابقة، تختلف حسب الوضع المختار. في الوضع per_loop، تتراوح من 306 ميجابايت عند حلقة واحدة إلى 816 ميجابايت عند أربع حلقات، لسياق مكون من 4096 رمزًا. في الوضع last_loop، تبقى عند 306 ميجابايت بغض النظر عن عدد الحلقات.
قياسات للتحقق من التوقعات
يقوم دفتر الملاحظات المرتبط بعد ذلك بالتحقق من هذه التقديرات على خادم يعمل. يقيس سرعة فك التشفير لكل عدد من الحلقات، ويفحص ما إذا كانت ذاكرة التخزين المؤقت last_loop تُعدل تنبؤات النموذج، ويقارن توزيعات الرموز التالية بين عدة إعدادات. كما يُطلق أيضًا تقييمًا مقترنًا على 30 سؤالًا من مجموعة اختبار GSM8K، وهو معيار لمشاكل الرياضيات، مع قياس الدقة، وطول الإجابات، والوقت لكل سؤال محلول.
يُوضح البرنامج التعليمي أن صفحة النموذج تعلن عن أداء على معايير أخرى، مثل SWE-bench أو GPQA، والتي لم يتم إعادة إنتاجها في هذا الإطار، وكذلك سياق 256K رمزًا والتدريب المسبق بـ NVFP4.
دفتر الملاحظات متاح على GitHub، في مستودع MarkTechPost المخصص لمشاريع الوكلاء والبرامج التعليمية. يؤكد المؤلفون على نقطتين: تعيين عدد الحلقات بشكل صريح، حيث أن GGUF يستخدم أربعة افتراضيًا، وتثبيت commit الفرع الخاص بـ llama.cpp، لأن دعم Dory لا يزال طلب سحب في مسودة.
