Samaya AI hat Samaya Sterling vorgestellt, ein nachtrainiertes Modell für agentische Finanzrecherche, das also eigenständig Rechercheschritte und Tool-Aufrufe aneinanderreihen kann. Laut Unternehmen erzielt es 58,9 % im Benchmark FrontierFinance, gegenüber 55,9 % für Claude Fable 5.1, bei Kosten pro Frage von 0,61 Dollar gegenüber 6,89 Dollar.
Sterling basiert auf NVIDIA Nemotron 3.5 Lightning, einem 30B-Parameter-Modell mit Mixture of Experts (MoE, eine Architektur, die bei jeder Anfrage nur einen Teil ihrer Parameter aktiviert). Nur 3B Parameter sind aktiv. Laut der Ankündigung von Maithra Raghu auf X ging das Projekt aus einem Zweipersonen-Einsatz zur Effizienz der agentischen Orchestrierung hervor.
Ein an ein kleines Modell angepasstes Harness
Das Harness bezeichnet die Gesamtheit der Anweisungen, Tools und Mechanismen, die das Modell steuern. Samaya hat sein in der Produktion eingesetztes Finance-Harness an dieses kleinere Modell angepasst. Detaillierte Anweisungen wurden aus dem System-Prompt und den Tool-Beschreibungen entfernt, und einige Tools wurden zusammengelegt, um den Prompt zu verkürzen. Zwei Hilfsmodelle verwalten den Kontext: Ein Kondensator kürzt lange Tool-Ergebnisse, während ein Compactor die Arbeitshistorie zusammenfasst, sobald sie länger wird.
Ein Recherchebudget begrenzt schließlich die Arbeitsdauer des Agenten. Der Berichtsersteller antwortet anschließend basierend auf den gefundenen Elementen.
Ein Training in vier Schritten
Das Training nutzte die LoRA-Technik, die ein bestehendes Modell leicht anpasst, auf Tinker, der Trainings-API von Thinking Machines Lab. Der erste Schritt besteht aus einem Supervised Fine-Tuning (SFT) auf 968 synthetischen Analystenfragen. Der Lehrer, Kimi K3, beantwortete jede Frage zweimal, und ein auf einem LLM basierender Richter wählte die beste Antwort aus. Das Modell lernte, 37 Tools mit gültigen Argumenten aufzurufen.
Der zweite Schritt verwendet 1.819 von Experten verfasste Fragen, die mit acht Recherchestrategien bearbeitet wurden. Die beste Antwort pro Frage diente als Trainingsdaten, und 1.157 Fragen wurden nach Filterung beibehalten. Laut Samaya deckt diese Auswahl 80 % der wesentlichen Kriterien des Bewertungsrasters ab, gegenüber etwa 66 % für die beste einzelne Strategie. Der dritte und vierte Schritt sind zwei Phasen des Reinforcement Learning mit der GRPO-Methode: Die erste, offline, vergleicht die acht Antworten des Lehrers miteinander, die zweite, online, lässt das Modell jede Frage achtmal beantworten.
Selbstdeklarierte Ergebnisse auf FrontierFinance
Der Benchmark FrontierFinance umfasst 220 öffentliche Anfragen, die anhand von von Experten erstellten Bewertungsrastern von einem Panel aus drei Richtermodellen bewertet werden. Samaya gibt an, dass keine Frage des Benchmarks für das Training verwendet wurde und dass die Checkpoints auf 100 internen Validierungsfragen ausgewählt wurden.
Sterling erreicht 58,9 % bei 282 Sekunden pro Frage, gegenüber 268 Sekunden für Claude Fable 5.1. Das Samaya-System im « High Effort »-Modus erzielt 56,0 % bei 1,81 Dollar pro Frage. Die Punktzahl steigt mit jedem Schritt von 42,5 % für das Basismodell auf 51,4 %, 54,8 %, 57,5 % und dann 58,9 %. Die mediane Anzahl der Tool-Aufrufe steigt von 3 auf 17. Beim schwierigsten Drittel der Fragen steigt die Punktzahl von 31,8 % auf 45,2 %. Im « High Effort »-Modus erreicht Sterling 60,6 % bei 1,83 Dollar und 372 Sekunden. Das Modell selbst kostet 0,04 Dollar pro Frage, der Rest der Kosten stammt von den Tools und Hilfsmodellen. Das Basismodell, so die Quelle, passt auf eine einzelne 80-GB-H100-GPU in BF16, mit einem Kontext von 256K Tokens. Sein Kontextfenster kann 1M Tokens erreichen. Samaya kommuniziert weder das Kontextfenster noch die Serving-Hardware von Sterling, und für letzteres wurden keine öffentlichen Gewichte oder eine API angekündigt. Alle Ergebnisse sind selbstdeklariert und auf dem Benchmark von Samaya veröffentlicht.
