Samaya AI heeft Samaya Sterling gepresenteerd, een post-getraind model voor agentisch financieel onderzoek, dat zelfstandig onderzoeksstappen en toolaanroepen kan aaneenschakelen. Volgens het bedrijf behaalt het 58,9 % op de FrontierFinance-benchmark, tegenover 55,9 % voor Claude Fable 5.1, tegen een kostprijs per vraag van 0,61 dollar versus 6,89 dollar.
Sterling is gebaseerd op NVIDIA Nemotron 3.5 Lightning, een model van 30B parameters met een mixture of experts (MoE, een architectuur die slechts een deel van zijn parameters per verzoek activeert). Slechts 3B parameters zijn actief. Volgens de aankondiging van Maithra Raghu op X is het project voortgekomen uit een tweemansinspanning rond de efficiëntie van agentische orchestratie.
Een harnas aangepast aan een klein model
Het harnas verwijst naar de set instructies, tools en mechanismen die het model kaderen. Samaya heeft zijn financiële harnas, dat in productie wordt gebruikt, aangepast aan dit kleinere model. Gedetailleerde instructies zijn verwijderd uit de systeemprompt en toolbeschrijvingen, en sommige tools zijn samengevoegd om de prompt te verkorten. Twee hulpmodellen beheren de context: een condenser verkort lange toolresultaten, terwijl een compactor de werkgeschiedenis samenvat naarmate deze langer wordt.
Een onderzoeksbudget beperkt ten slotte de werktijd van de agent. De rapportschrijver antwoordt vervolgens op basis van de gevonden elementen.
Een training in vier stappen
De training gebruikte de LoRA-techniek, die een bestaand model licht aanpast, op Tinker, de trainings-API van Thinking Machines Lab. De eerste stap bestaat uit een supervised fine-tuning (SFT) op 968 synthetische analistenvragen. De leraar, Kimi K3, heeft elke vraag twee keer beantwoord, en een op een LLM gebaseerde beoordelaar heeft het beste antwoord geselecteerd. Het model leerde 37 tools aan te roepen met geldige argumenten.
De tweede stap gebruikt 1.819 door experts geschreven vragen, verwerkt met acht zoekstrategieën. Het beste antwoord per vraag diende als trainingsdata, en 1.157 vragen werden behouden na filtering. Volgens Samaya dekt deze selectie 80% van de essentiële criteria van de beoordelingsmatrix, tegen ongeveer 66% voor de beste afzonderlijke strategie. De derde en vierde stap zijn twee fasen van reinforcement learning met de GRPO-methode: de eerste, offline, vergelijkt de acht antwoorden van de leraar onderling, de tweede, online, laat het model acht keer op elke vraag antwoorden.
Zelfgerapporteerde resultaten op FrontierFinance
De FrontierFinance-benchmark bevat 220 publieke queries, gescoord volgens door experts geschreven beoordelingsmatrices, met behulp van een panel van drie beoordelaarsmodellen. Samaya geeft aan dat geen enkele vraag van de benchmark voor de training is gebruikt, en dat de checkpoints zijn gekozen op basis van 100 interne validatievragen.
Sterling behaalt 58,9% in 282 seconden per vraag, tegenover 268 seconden voor Claude Fable 5.1. Het Samaya-systeem in ‘high effort’-modus behaalt 56,0%, tegen 1,81 dollar per vraag. De score verbetert bij elke stap, van 42,5% voor het basismodel naar 51,4%, 54,8%, 57,5% en vervolgens 58,9%. Het mediane aantal toolaanroepen stijgt van 3 naar 17. Op het moeilijkste derde deel van de vragen stijgt de score van 31,8% naar 45,2%. In ‘high effort’-modus behaalt Sterling 60,6% voor 1,83 dollar en 372 seconden. Het model zelf kost 0,04 dollar per vraag, de rest van de kosten komt van de tools en hulpmodellen. Het basismodel past volgens de bron op een enkele 80 GB H100 GPU in BF16, met een context van 256K tokens. Zijn contextvenster kan oplopen tot 1M tokens. Samaya communiceert noch het contextvenster, noch de servicematerialen van Sterling, en er zijn geen publieke gewichten of API aangekondigd voor dit laatste. Alle resultaten zijn zelfgerapporteerd en gepubliceerd op de benchmark van Samaya.
