هل سيتسع نموذج الذكاء الاصطناعي على بطاقتك الرسومية؟ تقدر هذه الحاسبة الذاكرة اللازمة لتشغيل نموذج محليًا وتشير، لكل جهاز على حدة، ما إذا كان يتسع وبأي سرعة سيولد النص.
كيفية استخدامها
- أدخل حجم النموذج بمليارات المعاملات؛ بالنسبة لنموذج MoE، أضف أيضًا المعاملات النشطة.
- اختر التكميم، وحجم السياق، ونوع ذاكرة التخزين المؤقت KV، وعدد الطلبات المتوازية.
- حدد عدد وحدات معالجة الرسوميات المتطابقة، وذاكرة الوصول العشوائي للنظام وعرض النطاق الترددي الخاص بها.
- راجع الجدول: يتم تصنيف كل جهاز على أنه « يتسع في الذاكرة »، أو « يفيض على ذاكرة الوصول العشوائي »، أو « لا يتسع ».
المبادئ الكامنة وراء الحساب
- تستهلك الأوزان: معاملات × بتات لكل وزن ÷ 8: يقلل التكميم هذا البند مباشرة.
- تزداد ذاكرة التخزين المؤقت KV مع السياق وعدد الطلبات المتزامنة: 2 × طبقات × رؤوس KV × بُعد الرأس × بايت لكل قيمة × سياق × توازي. تستخدم الأداة بنية نموذجية وفقًا لحجم النموذج.
- يتم إضافة تكلفة إضافية ثابتة قدرها 0.8 جيجابايت بالإضافة إلى 5٪ من أوزان النماذج للمخازن المؤقتة ووقت التشغيل.
- يقتصر توليد النص على عرض النطاق الترددي للذاكرة: السرعة ≈ 60٪ من عرض النطاق الترددي ÷ الأوزان النشطة. إذا فاض النموذج على ذاكرة الوصول العشوائي، يجمع الحساب الجزء الموجود في وحدة معالجة الرسوميات والجزء الموجود في ذاكرة الوصول العشوائي، وهو أبطأ بكثير.
حدود يجب معرفتها
هذه تقديرات لبنية نموذجية؛ النماذج ذات الانتباه الفعال تتطلب ذاكرة تخزين مؤقت أقل. تستبعد السرعة معالجة المطالبة. قيم الأجهزة هي تلك المقدمة من الشركات المصنعة.
