كشفت Samaya AI عن Samaya Sterling، وهو نموذج تم تدريبه بعديًا للبحث المالي الوكيلي، أي القادر على ربط خطوات البحث واستدعاءات الأدوات بشكل مستقل. وفقًا للشركة، يحقق النموذج 58.9% في معيار FrontierFinance، مقارنة بـ55.9% لنموذج Claude Fable 5.1، بتكلفة لكل سؤال تبلغ 0.61 دولار مقابل 6.89 دولار.
يعتمد Sterling على NVIDIA Nemotron 3.5 Lightning، وهو نموذج بحجم 30B معلمة بنظام خليط الخبراء (MoE، وهي بنية تفعّل فقط جزءًا من معلماتها في كل استعلام). فقط 3B معلمة تكون نشطة. وفقًا لإعلان Maithra Raghu على X، انطلق المشروع من جهد لشخصين حول كفاءة التنظيم الوكيلي.
نظام تكييف مصمم لنموذج صغير
يشير مصطلح ‘النظام’ إلى مجموعة التعليمات والأدوات والآليات التي توجّه النموذج. قامت Samaya بتكييف نظامها المالي، المستخدم في الإنتاج، ليناسب هذا النموذج الأصغر. تمت إزالة التعليمات التفصيلية من المطالبة النظامية ومن أوصاف الأدوات، وتم دمج بعض الأدوات لتقصير المطالبة. نموذجان مساعدان يديران السياق: نموذج مكثف يقصر نتائج الأدوات الطويلة، بينما نموذج مختصر يلخص سجل العمل مع استمراره.
يحدد ميزانية البحث أخيرًا مدة عمل الوكيل. ثم يقوم كاتب التقرير بالرد بناءً على العناصر التي تم العثور عليها.
تدريب من أربع مراحل
استخدم التدريب تقنية LoRA، التي تعدّل نموذجًا موجودًا بشكل طفيف، على Tinker، واجهة برمجة التطبيقات للتدريب من Thinking Machines Lab. تتكون المرحلة الأولى من ضبط خاضع للإشراف (SFT) على 968 سؤالًا من محللين اصطناعيين. أجاب النموذج المعلم، Kimi K3، مرتين على كل سؤال، واختار حكم قائم على LLM أفضل إجابة. تعلم النموذج استدعاء 37 أداة بحجج صالحة.
تستعيد المرحلة الثانية 1,819 سؤالًا صاغها خبراء، عولجت بثماني استراتيجيات بحث. استُخدمت أفضل إجابة لكل سؤال كبيانات تدريب، وتم الاحتفاظ بـ 1,157 سؤالًا بعد التصفية. وفقًا لـ Samaya، تغطي هذه المجموعة 80% من المعايير الأساسية في الشبكة، مقارنة بحوالي 66% لأفضل استراتيجية بمفردها. المرحلتان الثالثة والرابعة هما مرحلتان من التعلم المعزز باستخدام طريقة GRPO: الأولى، غير المتصلة، تقارن بين الإجابات الثمانية للنموذج المعلم، والثانية، المتصلة، تجعل النموذج يجيب ثماني مرات على كل سؤال.
نتائج ذاتية الإعلان على FrontierFinance
يتضمن معيار FrontierFinance 220 استعلامًا عامًا، تُقيّم وفقًا لشبكات صاغها خبراء، باستخدام لوحة من ثلاثة نماذج قضاة. تشير Samaya إلى أنه لم يتم استخدام أي أسئلة من المعيار في التدريب، وتم اختيار نقاط التحقق بناءً على 100 سؤال تحقق داخلي.
يصل Sterling إلى 58.9% خلال 282 ثانية لكل سؤال، مقابل 268 ثانية لـ Claude Fable 5.1. يحقق نظام Samaya في وضع ‘الجهد العالي’ 56.0%، بتكلفة 1.81 دولار لكل سؤال. يتحسن النتيجة في كل مرحلة، من 42.5% للنموذج الأساسي إلى 51.4%، ثم 54.8%، ثم 57.5%، ثم 58.9%. يرتفع متوسط عدد استدعاءات الأدوات من 3 إلى 17. على الثلث الأصعب من الأسئلة، ترتفع النتيجة من 31.8% إلى 45.2%. في وضع ‘الجهد العالي’، يصل Sterling إلى 60.6% بتكلفة 1.83 دولار و372 ثانية. يكلف النموذج نفسه 0.04 دولار لكل سؤال، والباقي يأتي من الأدوات والنماذج المساعدة. وفقًا للمصدر، يمكن للنموذج الأساسي أن يعمل على وحدة معالجة رسومية واحدة H100 بسعة 80 جيجابايت بتنسيق BF16، مع سياق 256K رمز. يمكن أن تصل نافذة السياق إلى 1M رمز. لا تعلن Samaya عن نافذة السياق، ولا عن عتاد تشغيل Sterling، ولم يتم الإعلان عن أي أوزان عامة أو واجهة برمجة تطبيقات لهذا الأخير. جميع النتائج ذاتية الإعلان ونشرت على معيار Samaya.
