ينشر PyImageSearch الجزء الأخير من سلسلة مخصصة لبناء DeepSeek-V3 « من الصفر »، حيث يركز هذه المرة على تدريب النموذج وتوليد النص. كتبه Puneet Mangla، ويشرح البرنامج التعليمي حلقة التدريب، والمعاملات الفائقة، والبيانات المستخدمة لنموذج صغير الحجم.
يختتم هذا الجزء السادس سلسلة تناولت، خطوة بخطوة، التهيئة و Rotary Position Embeddings (RoPE)، و Multi-head Latent Attention (MLA)، و Mixture of Experts (MoE)، و Multi-Token Prediction (MTP)، ثم تجميع البنية في PyTorch. يعرض البرنامج التعليمي « المدرب »، المكون الذي يجعل البنية تعمل من خلال مواجهتها بالبيانات.
تدريب يعتمد على Hugging Face
يتضمن تدريب نموذج من نوع المحول تنسيق تحميل البيانات، والتحسين، وإدارة نقاط الحفظ، والتقييم. يعتمد المؤلف لذلك على واجهة برمجة التطبيقات Trainer من Hugging Face، مع الإصدارات transformers==4.57.3، و datasets==4.8.5، و accelerate==1.15.0. وبما أن النموذج يُرجع زوجًا (logits, loss)، فإن طريقة compute_loss مخصصة تُعدل مخرجها لتتناسب مع التنسيق المتوقع من قبل المدرب.
يتم تطبيق عدة تقنيات. تحاكي تراكم التدرجات دفعات كبيرة عندما تكون ذاكرة وحدة معالجة الرسومات محدودة: مع دفعة من 4 أمثلة و4 خطوات تراكم، يصل الحجم الفعال إلى 16 على جهاز واحد. يتبع معدل التعلم مرحلة تسخين تدريجي، تليها انخفاض خطي. أخيرًا، يمكن لـ التدرب بدقة مختلطة (FP16) تسريع الحساب، على الرغم من أن المكسب يعتمد على الأجهزة وحجم العمل.
البيانات والتهيئة
يتم تدريب النموذج على TinyStories، وهي مجموعة بيانات من قصص بسيطة للأطفال، مصممة لمفردات وقواعد مناسبة لنماذج اللغة الصغيرة. يحتفظ المؤلف فقط بأول 10000 مثال، مقسمة دون خلط إلى 9000 للتدريب و1000 للتقييم. هذه المجموعة الثانية تأتي إذن من المجموعة الفرعية المختارة، وليس من مجموعة التحقق الرسمية لمجموعة البيانات.
يتم تحويل النص إلى رموز باستخدام أداة الترميز GPT-2، التي تستخدم ترميز أزواج البايتات (BPE). يتم استبعاد مواضع الحشو من حساب الخسارة بفضل القيمة -100. تحدد التهيئة معدل تعلم قدره 5e-4، و 10 خطوات تسخين، وتنظيمًا بقيمة 0.01، و 2 حقب تدريب. يتم إنشاء نقاط حفظ كل 50 خطوة، ويتم الاحتفاظ بثلاث منها، والنموذج النهائي المختار هو الذي لديه أقل خسارة تحقق.
لاختبار التوليد، يستخدم المؤلف درجة حرارة 0.8 وأخذ عينات أعلى ك بقيمة 50، مع 150 رمزًا جديدًا. القصة المقدمة كمثال هي توضيحية صريحة وليست من تنفيذ مسجل. يوضح البرنامج التعليمي أن هذا النموذج الصغير لن ينافس النماذج الكبيرة المدربة مسبقًا وأن إنتاجه قد يتكرر أو ينحرف أو يفقد الاتساق. البرنامج التعليمي الكامل وكود المصدر الخاص به متاحان على موقع PyImageSearch.
