التفكيك التخميني هو تقنية تسرع توليد النص بواسطة النماذج اللغوية الكبيرة، دون تعديل النموذج أو تدهور جودة الإجابات. تُعرض هذه التقنية بأنها قادرة على تسريع الاستدلال من مرتين إلى ثلاث مرات، وتعتمد على استراتيجية توليد أكثر ذكاءً بدلاً من تغيير البنية.
عنق الزجاجة في الذاكرة
في كل مرة يرسل فيها المستخدم رسالة إلى روبوت الدردشة، يولد النموذج إجابته رمزًا تلو الآخر، أي قطعة نصية تلو الأخرى. يصبح هذا الأسلوب عائقًا كلما كبرت النماذج، خاصة بالنسبة لمساعدات البرمجة وخدمة العملاء أو الوكلاء في الوقت الفعلي، الذين يتطلبون استجابة شبه فورية.
لا يأتي التباطؤ بشكل رئيسي من قوة الحوسبة. وحدات معالجة الرسومات مثل NVIDIA H100 سريعة جدًا في العمليات المصفوفية. تكمن المشكلة في أن مليارات المعلمات للنموذج، المخزنة في الذاكرة، يجب نقلها إلى المعالج قبل توليد كل رمز. تبقى وحدات الحوسبة حينها غير نشطة إلى حد كبير. يشير المهندسون إلى نظام مقيد بعرض النطاق الترددي للذاكرة: لذا فإن إضافة قوة حوسبة لا تسرع الأمور بشكل ملحوظ.
الاقتراح، ثم التحقق
يكمن المبدأ في توليد عدة رموز مرشحة دفعة واحدة، ثم التحقق منها بالتوازي. يعتمد النظام على نموذجين. نموذج صغير يسمى المسودة ينتج بسرعة سلسلة من المرشحين، عادةً من أربعة إلى ثمانية رموز. نموذج الهدف، الأكبر حجمًا والأعلى جودة، يُقيّم المجموعة في تمريرة واحدة. نظرًا لأن وحدات معالجة الرسومات مصممة للحوسبة المتوازية، فإن معالجة دفعة من الرموز لا تستغرق وقتًا أطول بكثير من معالجة رمز واحد.
لكل مرشح، يقارن النموذج الهدف احتماليته الخاصة بتلك التي نسبها إليه نموذج المسودة. إذا كان النموذج الهدف واثقًا على الأقل بنفس القدر، يُقبل الرمز. وإلا، يُقبل باحتمالية تتناقص كلما زاد الفارق. يُستبدل الرمز المرفوض برمز مستخلص من توزيع معدل، ثم تكرر الحلقة. وفقًا لعرض الطريقة، تضمن هذه العملية الإحصائية أن المخرجات تتبع نفس توزيع الاحتمال بالضبط كما لو كان النموذج الهدف قد ولّد كل رمز بمفرده.
في أفضل الحالات، يُقبل جميع المرشحين ويضيف النموذج الهدف رمزًا إضافيًا، أي ما يعادل خمسة إلى تسعة رموز بتكلفة تمريرة واحدة للنموذج الهدف. في أسوأ الحالات، يُرفض المرشح الأول، مما يضيف حملًا زائدًا طفيفًا، حيث يبقى وقت توليد المسودة مستحقًا. لذلك، يمكن لزوج من النماذج غير المتطابق أن يبطئ التوليد قليلاً.
يعتمد الربح الفعلي بشكل أساسي على معدل القبول، أي تكرار اجتياز مرشحي المسودة للتحقق. عند حوالي 70 إلى 80٪، وهو مستوى يُوصف بأنه نموذجي لأزواج متطابقة جيدًا في المهام الشائعة، يتراوح التسريع بين 2x و 3x. تنتج النصوص المتوقعة أو المتكررة معدلات أعلى وأرباحًا أكبر.
الاختلافات والتطبيق العملي
يتطلب المخطط الأصلي نموذج مسودة منفصل، مما يزيد من استهلاك الذاكرة وتعقيد الهندسة. تتجنب عدة تقنيات أحدث ذلك. يتخلى البعض عن الضمان الإحصائي الصارم لتنفيذ أبسط أو معدل نقل أعلى، مع تأثير، وفقًا للمصدر، ضئيل عمومًا على جودة المخرجات.
Medusa تضيف إلى النموذج الهدف عدة رؤوس تنبؤ إضافية على طبقتها الأخيرة، كل منها تتوقع موضعًا مستقبليًا مختلفًا. Eagle، الذي يعني « خوارزمية الاستقراء لكفاءة أكبر للنماذج اللغوية »، يعتمد على الحالات الداخلية للنموذج بدلاً من رموز مخرجاته، مما يعزز، وفقًا للمصدر، معدلات قبول أعلى على نصوص معقدة أو متخصصة. لا يستخدم تفكيك النظر إلى المطالبة أي نموذج ثانوي: فهو يحدد في المطالبة وسجل المحادثة التعبيرات التي من المحتمل أن تظهر مرة أخرى في الرد، ويستخدمها كمرشحين، وهو ما يناسب بشكل خاص تحرير الكود وتلخيص المستندات.
يُعرض التفكيك التخميني كخيار في عدة أطر عمل للاستدلال، بما في ذلك text-generation-inference من Hugging Face، وvLLM، وllama.cpp. وفقًا للمصدر، فإن تفعيله غالبًا ما يتطلب تغييرًا في الإعدادات.
تفيد التقنية بشكل أساسي عمليات التوليد الطويلة، عندما يعالج النموذج طلبًا واحدًا في كل مرة وعندما تشارك المطالبة والرد المفردات أو الهيكل. تعد الأسئلة والأجوبة، وتلخيص المستندات، وإكمال الكود من بين الحالات التي تكون فيها الأرباح أكبر. في الخدمة المجمعة عالية الإنتاجية، على العكس من ذلك، يمكن أن تقلل من معدل النقل، لأن رموز المسودة تستهلك ذاكرة وحوسبة يمكن استخدامها لطلبات أخرى.
