The AI / news

ضغط نماذج الذكاء الاصطناعي يتجاوز التكميم وحده

ضغط نماذج الذكاء الاصطناعي يتجاوز التكميم وحده
3 دقيقة للقراءة

التكميم ليس الطريقة الوحيدة لضغط نموذج ذكاء اصطناعي. تقدم مقالة من Machine Learning Mastery نهجين آخرين، هما التقليم وتقطير المعرفة، اللذان يقللان عدد القيم أو حجم الهياكل بدلاً من تنسيقها. يمكن للنموذج الأصغر أن يسرع عملية الاستدلال، بشرط الحفاظ على السلوك المتوقع للتطبيق.

يعدل التكميم طريقة تمثيل قيم النموذج. أما التقليم، فيضع بعض المعاملات عند الصفر أو يزيل هياكل أوسع. بينما يدرب التقطير نموذجًا صغيرًا يسمى « التلميذ » على محاكاة سلوك نموذج أكبر يسمى « المعلم ».

التقليم والتخلخل

تعتمد الطريقة المسماة « حسب المقدار » على فرضية بسيطة: الأوزان ذات القيمة المطلقة الصغيرة يكون تأثيرها أقل على المخرجات. يطبق مثال الكود المقدم هذا المبدأ على مصفوفة بحجم 1024 × 1024 بمعدل 0.5، أي أن نصف الأوزان المستهدفة معني بالإزالة.

ومع ذلك، تبقى المصفوفة المقلَّمة مخزنة بكثافة. لا يحتفظ تنسيق CSR (صف مضغوط متخلخل) إلا بالقيم غير الصفرية، مصحوبة ببيانات وصفية للموضع. وفقًا للمقال، فإنه يقلل الذاكرة فقط إذا كانت هذه البيانات الوصفية تكلف أقل من البيانات التي تمت إزالتها، ولا يسرع الحساب إلا إذا كان شكل المصفوفة، ومستوى التخلخل، ونوع البيانات، والأجهزة تحتوي على نواة حسابية متخلخلة فعالة.

التقليم المنظم والتقطير

يزيل التقليم المنظم وحدات كاملة، مثل رؤوس الانتباه، أو قنوات MLP، أو طبقات، أو كتل. يمكن التعبير عن النتيجة غالبًا في شكل نموذج كثيف أصغر، أسهل في التسريع على أجهزة مختلفة. في MLP المحول، يتم إنتاج كل قناة وسيطة بواسطة صف من الإسقاط التصاعدي ويتم استهلاكها بواسطة عمود من الإسقاط التنازلي: إزالة أحدهما تستلزم إزالة الآخر.

توضح المقالة أن المعامل keep_channels يشير إلى عدد القنوات، وليس كسرًا. وبالتالي، ضبطه على 2048 يقلل عرض وسيط من 8192 إلى 2048 قناة. يضمن الكود توافق أشكال الموترات، لكنه لا يثبت أن القنوات المحتفظ بها هي الأقل أهمية: فالطريقة الحقيقية تقيم مخرجات الطبقات وتجري ضبطًا استرداديًا. تتطلب إزالة رؤوس الانتباه تعديلات منسقة، ومع GQA، وهو متغير حيث تشارك عدة رؤوس استعلام نفس رأس KV، يمكن للإزالة التعسفية أن تكسر هذه التجميعات.

أما التقطير، فيدرب التلميذ بناءً على إشارات المعلم: توزيع المخرجات، أو التمثيلات الوسيطة، أو البيانات المُولَّدة. يعتمد الفقد على درجة حرارة T وعلى تباعد كولباك-لايبلر، والذي يكون صفرًا عندما تتطابق التوزيعان. يجعل مثال الكود نموذجين صغيرين من نوع GPT-2، تمت تهيئتهما عشوائيًا، يتدربان على خطوة واحدة فقط. توضح المقالة أنه لا ينتج نموذجًا مفيدًا: فالتجربة الحقيقية تتطلب معلمًا مدربًا مسبقًا ونصًا تمثيليًا.

للمقارنة الجادة، توصي المقالة بقياس، على نفس الاستفسارات ونفس الأجهزة، الجودة على بيانات محجوزة، وحجم المعاملات بالبايت، والذاكرة القصوى، وزمن الوصول للتعبئة المسبقة، ومعدل فك التشفير. يمكن للتقليم أو التقطير أن يغير سلوك النموذج، حتى عندما ينخفض عدد المعاملات بشدة.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x