The AI / news

أي نموذج للذكاء الاصطناعي المحلي لجهازي؟

  • تعرض الأداة النماذج المفتوحة المتوافقة مع جهازك بأدق تكميم ممكن.
  • تحسب الذاكرة من الأوزان وذاكرة KV وتكلفة التشغيل الإضافية.
  • تقدّر السرعة بين 50 و70% من عرض نطاق الذاكرة، وهي تقديرات غير معايرة.
  • تعمل الأداة في متصفحك، ولا تقيس جودة النموذج باللغة الفرنسية ولا أداءه الفعلي.

أي نموذج للذكاء الاصطناعي يعمل على جهازي؟ اختر بطاقتك الرسومية، جهاز Mac أو أدخل سعة ذاكرتك: الأداة تعرض النماذج المفتوحة المتوافقة، مع أدق تكميم ممكن، الذاكرة المستخدمة وسرعة مقدرة بالرموز في الثانية. كل شيء يُحسب في متصفحك.

كيفية الاستخدام

  1. اختر جهازك من القائمة، أو «جهاز آخر» لإدخال سعة ذاكرته وعرض نطاقه الترددي.
  2. حدد عدد البطاقات المتطابقة وذاكرة النظام الحية: تُستخدم لتفريغ جزء من النموذج عندما لا تكفي سعة البطاقة.
  3. اختر الاستخدام (محادثة، رؤية، استدلال، سياق طويل) والسياق المطلوب.
  4. اقرأ الجدول: النماذج التي تتسع بسهولة تظهر أولاً، ثم تلك التي بالكاد تتسع، ثم تلك التي تتطلب تفريغاً على ذاكرة الوصول العشوائي، مما يبطئ الأداء.

كيف تُحسب الذاكرة

ذاكرة النموذج هي مجموع ثلاثة أجزاء: الأوزان (المعاملات مضروبة في بتات التكميم، مقسومة على 8)، ذاكرة التخزين المؤقت KV، التي تكبر مع السياق وعدد الطلبات المتزامنة، وتكلفة تشغيل إضافية. لكل نموذج، تحتفظ الأداة بأدق تكميم يتسع في الذاكرة. المعاملات، عدد الطبقات ورؤوس KV مأخوذة من التكوينات العامة للنماذج على Hugging Face، المقروءة في تاريخ معروض أسفل الجدول، وليست قيماً مفترضة.

للبدء بنموذج محدد بدلاً من جهازك، استخدم أداة ذاكرة VRAM للذكاء الاصطناعي المحلي؛ لمعرفة إذا كان الحل المحلي مجدياً، الذكاء الاصطناعي المحلي أو API.

حدود يجب معرفتها

هذه الأرقام تقديرات، غير معايرة على قياسات عامة: برنامج التنفيذ (llama.cpp، Ollama، LM Studio، MLX، vLLM)، المشغل وتنسيق النموذج يغيران النتيجة الفعلية. السرعة هي نطاق تقريبي، من 50 إلى 70% من عرض نطاق الذاكرة مقسوماً على الأوزان المقروءة لكل رمز. للنماذج ذات الخبراء (MoE)، تعتمد السرعة على المعاملات النشطة، التي لا نعرفها إلا عندما يذكرها اسم النموذج؛ وإلا فالسرعة المعروضة هي حد أدنى. للنماذج ذات الانتباه الهجين أو النافذة المنزلقة، ذاكرة التخزين المؤقت المعروضة (المشار إليها بـ «≤») هي حد أعلى. فقط النماذج التي يمكن قراءة تكوينها العام مدرجة، والتراخيات معروضة كما تم الإعلان عنها: تحقق منها قبل أي استخدام تجاري. الأداة لا تقيس جودة النموذج باللغة الفرنسية ولا الأداء الفعلي على جهازك.

أسئلة متكررة

لماذا يكون النموذج الذي «يتسع» بطيئاً؟

توليد رمز واحد يتطلب إعادة قراءة الأوزان النشطة في الذاكرة. إذا تم تفريغ جزء من النموذج على ذاكرة النظام، التي يكون عرض نطاقها أضعف بكثير من البطاقة، تهبط السرعة: الأداة تشير إلى ذلك بـ «يتسع بالتفريغ على ذاكرة الوصول العشوائي (بطيء)».

جهازي غير مدرج في القائمة، ماذا أفعل؟

اختر «جهاز آخر» وأدخل سعة الذاكرة (بالجيجابايت) وعرض النطاق الترددي للذاكرة (بالجيجابايت/ثانية) كما يحددها المصنع.