The AI / news

باحثون يشرحون كيفية تصوير إنتروبيا المعلومات في نماذج اللغة

باحثون يشرحون كيفية تصوير إنتروبيا المعلومات في نماذج اللغة
2 دقيقة للقراءة

في صميم تدريب نماذج مثل جيميني ولايما أو جي بي تي، توجد فكرة مستعارة من نظرية المعلومات: الإنتروبيا المتقاطعة. يوضح مقال نُشر على موقع Machine Learning Mastery كيف يسمح هذا المفهوم، المرتبط بقياس عدم اليقين، بشرح الطريقة التي تتعلم بها نماذج اللغة الكبيرة (LLMs) التنبؤ بالكلمة التالية.

قياس المفاجأة

ظهرت إنتروبيا المعلومات عام 1948 مع أعمال كلود شانون. تُستخدم لقياس عدم اليقين، أو « المفاجأة »، الموجودة في توزيع احتمالي. يأخذ المقال مثالاً بنردين. الأول متوازن تماماً: كل رمية غير متوقعة، والإنتروبيا مرتفعة. الثاني مُرجح بشدة ليظهر الوجه 6: فالنتيجة نادراً ما تُفاجئ، والإنتروبيا منخفضة. الصيغة المستخدمة هي: H(P) = – Σ P(x) log₂ P(x). تصل إلى الحد الأقصى عندما تكون جميع الاحتمالات متساوية، أي لتوزيع منتظم مثل توزيع النرد الأول. كلما انفردت بعض النتائج عن غيرها، انخفضت الإنتروبيا.

عندما يخمن النموذج الكلمة التالية

يولد نموذج اللغة الكبيرة النص كلمة بكلمة، أو بالأحرى رمزاً برمز، حيث الرمز هو وحدة نصية يتعامل معها النموذج. في كل خطوة، تقوم طبقة الإخراج النهائية بتعيين احتمال لكل عنصر في مفرداته، والتي تضم عادة عشرات الآلاف من الكلمات. إذا تردد النموذج، يكون التوزيع منتشراً والإنتروبيا مرتفعة. إذا كان واثقاً جداً، فإنه يعطي احتمالية قوية جداً لكلمة محددة، مثل « تاتامي » في جملة « the cat sat on the… »، وتكون الإنتروبيا منخفضة. هنا تتدخل الإنتروبيا المتقاطعة، وهي دالة الخسارة المستخدمة لتوجيه التدريب. تقارن التوزيع الذي تتنبأ به النموذج بالتوزيع الحقيقي، الذي يعطي 100٪ للكلمة المرصودة فعلياً و0٪ لجميع الكلمات الأخرى. تقليل هذه القيمة يعني جعل ثقة النموذج تتقارب تدريجياً نحو الكلمات الصحيحة. يسلط المقال الضوء على أن هذه العملية، عند تكرارها على ملايين أو مليارات الأمثلة، تمكن النموذج من تعلم إنتاج ردود متماسكة.

مثال بلغة بايثون

يقدم المقال نصاً برمجياً خفيفاً، لا يحمل أي نموذج لغة كبير حقيقي لكنه يوضح آلية عمل الإنتروبيا المتقاطعة. المفردات تقتصر على خمس كلمات: « apple »، « banana »، « cat »، « dog »، « elephant ». الكلمة المستهدفة هي « cat ». تتم مقارنة ثلاثة تنبؤات: « واثق وصحيح »، الذي يعطي 0.90 لـ « cat »؛ « واثق وخاطئ »، الذي يعطي 0.80 لـ « apple »؛ و »غير متأكد (مسطح) »، الذي يوزع الاحتمال بالتساوي بين الكلمات الخمس، أي 0.20 لكل منها. يتم عرض النتائج على شكل رسوم بيانية شريطية تفاعلية باستخدام مكتبة Plotly. وفقاً للكاتب، التنبؤ الثالث يتوافق مع الإنتروبيا القصوى، لأن النموذج غير متأكد تماماً. التنبؤ الثاني، رغم ثقته العالية، يكون خاطئاً، مما يؤدي إلى إنتروبيا متقاطعة مرتفعة. يذكر المقال أن هاتين الحالتين، عدم اليقين والخطأ، تتم معالجتهما في وقت واحد عند محاولة تقليل الإنتروبيا المتقاطعة أثناء التدريب.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x