The AI / news

ستانفورد تطرح ميموريلا مفتوحة المصدر، وحدة ذاكرة كامنة للنماذج اللغوية الكبيرة المجمدة

ستانفورد تطرح ميموريلا مفتوحة المصدر، وحدة ذاكرة كامنة للنماذج اللغوية الكبيرة المجمدة
2 دقيقة للقراءة

طرح باحثون من جامعة ستانفورد ميموريلا، وهو نظام ذاكرة مفتوح المصدر مخصص للنماذج اللغوية الكبيرة (LLM). يقرأ الجهاز مجموعة كاملة من المستندات ولا يمرر إلى النموذج اللغوي الكبير المجمد سوى 16 رمزًا للذاكرة. وفقًا للمقال، تحقق هذه الطريقة نتائج أفضل من نموذج لغوي كبير يتلقى جميع المستندات كاملة في سياقه، مع استخدام عدد أقل بكثير من الرموز.

وحدة ذاكرة مدمجة

لا يمكن للنموذج اللغوي الكبير استغلال سوى ما يوجد في نافذة السياق الخاصة به، أي النص الذي يتلقاه عند الرد. تقدم ميموريلا طريقًا ثالثًا بين السياق الكامل والاسترجاع المجزأ، يتمثل في حقن النموذج بتمثيل مُتعلم من مجموعة النصوص بأكملها. تحتوي الوحدة على 194 مليون معلمة قابلة للتدريب، وهي تنتج دائمًا 16 رمزًا للذاكرة، بغض النظر عن حجم المجموعة.

تتم العملية في ثلاث مراحل. يقوم مُشفر مجمد، Qwen3-Embedding-4B، بتحويل كل مستند مرة واحدة فقط، بحيث لا يلزم إعادة تشفير المستندات القديمة عند إضافة مستندات جديدة. لكل سؤال، تستعلم 16 فتحة مُتعلمة عن المخزون بأكمله باستخدام طبقتين من الانتباه المتقاطع بثمانية رؤوس. أخيرًا، تُسقط هذه الفتحات في فضاء التضمين الخاص بجهاز فك التشفير، Qwen3-8B، وتوضع أمام السؤال. يتم تدريب وحدة الذاكرة فقط، على ثلاث مراحل.

نتائج أعلن عنها الفريق

في معيار FactKG، حقق النموذج Qwen3-8B المجمد 84.33% باستخدام ميموريلا، مقارنة بـ 80.43% عند وضع كل مستند في السياق، مع استخدام 108 مرة أقل من رموز المستندات. يشير الباحثون إلى متوسط 49.68 على ثمانية معايير، وهو الأعلى بين الطرق المقارنة، وأفضل نتيجة في خمسة من هذه الاختبارات الثمانية. على PersonaMem-v2، بلغت الدقة 44.60%، مقارنة بـ 27.92% مع السياق الكامل. هذه النتائج أعلن عنها فريق البحث نفسه.

يشير المقال أيضًا إلى وجود حدود. على PubMedQA، حصلت ميموريلا على 59.00%، بينما وصل LLMLingua-2 إلى 69.00%. لا تتجاوز ملخصات مجموعة البيانات هذه 324 رمزًا، مما يترك مجالًا ضئيلًا للضغط. كما يُوصف النظام بأنه أضعف في التعامل مع الحقائق الدقيقة.

استخدام مفتوح، مع متطلبات أجهزة

تم طرح كود ميموريلا، وصفات التدريب، ونقاط التفتيش تحت ترخيص Apache 2.0. يتطلب التشغيل نظام Linux، ووحدات معالجة رسومية CUDA، وPython 3.11. يحتاج البدء السريع إلى وحدة معالجة رسومية بسعة 80 جيجابايت، وتم تنفيذ الوصفات على وحدات H100 بسعة 80 جيجابايت. يقوم الإطلاق الأول بتنزيل حوالي 25 جيجابايت من النماذج. وفقًا للمقال، يبلغ وقت الاستجابة 0.74 ثانية لـ 512 مستندًا على وحدة H100، مقارنة بـ 0.75 ثانية إلى 19.9 ثانية للسياق الكامل، أي بفارق قدره المؤلفون بـ 27 مرة. كما نشر الباحثون PersonalizationV4، وهي مجموعة بيانات تضم 149 مستخدمًا اصطناعيًا يحتوي كل منهم على 200 محادثة، تحت ترخيص CC BY 4.0.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x