صدر للتو كتاب مخصص للتدريب اللاحق للنماذج اللغوية الكبيرة. يحمل عنوان ‘التعلم المعزز من التغذية الراجعة البشرية: محاذاة وتدريب النماذج اللغوية الكبيرة لاحقًا’، وهو منشور من قبل مانينغ ويقدم نفسه كنتاج لسنوات من العمل على النماذج المفتوحة. يشير التدريب اللاحق إلى مجموعة الخطوات التي تلي التدريب الأولي لـ LLM (نموذج لغوي كبير) لتوجيهه وصقله.
كتاب نابع من موقع إلكتروني
نشأ الكتاب من موقع إلكتروني أنشأه المؤلف، الذي يدير مدونة Interconnects. أراد توثيق طرق رئيسية في التدريب اللاحق لم يجد تقريبًا أي شرح لها على الإنترنت، بما في ذلك مواضيع مثل أخذ العينات الرفضي، ونماذج المكافأة الناتجة، أو التدريب على الشخصية. الموقع، الذي لا يزال يُعتبر أحد الموارد النادرة التي تتناول هذه الموضوعات بطريقة أساسية وبديهية، أصبح شائعًا نسبيًا.
يُفضل الكتاب تقديم البديهيات وتاريخ المجال بدلاً من مجرد قائمة معادلات. وهو موجه لقارئ أكمل بالفعل درجة البكالوريوس في علوم الحاسوب، وليس للمبتدئ. جزء من محتواه يعيد صياغة مقالات قديمة من المدونة، مع إعادة صياغتها لربط المفاهيم الرياضية ببعضها البعض. يوضح المؤلف أنه أضاف في اللحظة الأخيرة قسمًا عن التقطير أثناء السياسة، ويعترف بأن العنوان أصبح قديمًا بعض الشيء.
النص أيضًا متاح مجانًا عبر الإنترنت. ويصاحبه دورة مدتها 12 ساعة، متاحة على شكل شرائح وفيديو على يوتيوب، مع كود أمثلة مصحوب بتمارين ومقارنات لإكمالات النماذج. وفقًا للناشر، خصم بنسبة 50٪ ساري على موقع مانينغ حتى 19 أغسطس، باستخدام الكود PBLambert. يتم شحن الكتاب من مانينغ وأمازون الولايات المتحدة، ومن أمازون المملكة المتحدة في أكتوبر.
التعلم المعزز والتقطير
حوالي 25٪ من الكتاب، من حيث عدد الكلمات والصفحات، مخصص لـ التعلم المعزز (RL). الهدف المعلن هو تعلم التفكير في الخوارزميات المختلفة، من نظرية تدرج السياسة إلى PPO، ثم إلى متغيرات أحدث مثل GSPO وCISPO. يوضح الكتاب على وجه الخصوص كيف يمكن اختزال منطق القطع في PPO إلى ست مناطق وفقًا لإشارة الميزة وقيمة نسبة السياسة.
يتناول النص أيضًا البنية التحتية. وفقًا للمؤلف، جوهر التعلم المعزز الحديث هو مشكلة أنظمة، تتمثل في إدارة الفجوة بين البيانات والسياسة الحالية، والفرق بين التدريب والاستدلال، وكذلك الإنتاجية. ظلت البنية غير المتزامنة، التي تفصل بين وحدات معالجة الرسومات المخصصة للتعلم وأخرى مخصصة لتوليد البيانات، متشابهة منذ بضع سنوات.
يُقدم الفصل المخصص للتقطير، أي استخدام مخرجات نموذج لتدريب نموذج آخر، كوسيلة لتوضيح ممارسة غالبًا ما تُوصف بطريقة جدلية. يتتبع الكتاب انتقال الأدبيات حول التقطير من عام 2015 إلى التقطير متعدد المعلمين والتقطير أثناء السياسة، والذي يستخدمه المؤلف وفقًا لـ Xiaomi MiMo-V2-Flash وDeepSeek V4.
يعتقد المؤلف أيضًا أن البحث يجب أن يحظى باهتمام العاملين في القطاع. ويشير إلى أن ورقة بحثية تستغرق اليوم من 3 إلى 9 أشهر قبل أن تُدمج في نموذج متقدم، مقارنة بعدة سنوات سابقًا في الشركات التكنولوجية الكبيرة. يهدف الكتاب، وفقًا له، إلى مساعدة القارئ على تحديد الأعمال التي تهم حقًا.
