A Samaya AI apresentou o Samaya Sterling, um modelo pós-treinado para pesquisa financeira agentica, ou seja, capaz de encadear sozinho etapas de pesquisa e chamadas de ferramentas. Segundo a empresa, ele obtém 58,9 % no benchmark FrontierFinance, contra 55,9 % do Claude Fable 5.1, por um custo por questão de 0,61 dólares contra 6,89 dólares.
O Sterling baseia-se no NVIDIA Nemotron 3.5 Lightning, um modelo de 30B parâmetros com mistura de especialistas (MoE, uma arquitetura que ativa apenas uma parte dos seus parâmetros em cada pedido). Apenas 3B parâmetros estão ativos. De acordo com o anúncio de Maithra Raghu no X, o projeto partiu de um esforço de duas pessoas sobre a eficiência da orquestração agentica.
Uma estrutura adaptada a um modelo pequeno
A estrutura designa o conjunto de instruções, ferramentas e mecanismos que enquadram o modelo. A Samaya adaptou a sua estrutura de finanças, usada em produção, a este modelo mais pequeno. As instruções detalhadas foram removidas do prompt do sistema e das descrições das ferramentas, e algumas ferramentas foram fundidas para encurtar o prompt. Dois modelos auxiliares gerem o contexto: um condensador encurta os longos resultados das ferramentas, enquanto um compactador resume o rasto de trabalho à medida que este se alonga.
Um orçamento de pesquisa limita finalmente a duração do trabalho do agente. O redator do relatório responde depois a partir dos elementos encontrados.
Um treino em quatro etapas
O treino utilizou a técnica LoRA, que adapta ligeiramente um modelo existente, no Tinker, a API de treino da Thinking Machines Lab. A primeira etapa consiste num ajuste supervisionado (SFT) em 968 questões de analistas sintéticos. O professor, Kimi K3, respondeu duas vezes a cada questão, e um juiz baseado num LLM reteve a melhor resposta. O modelo aprendeu a chamar 37 ferramentas com argumentos válidos.
A segunda etapa retoma 1 819 questões redigidas por especialistas, tratadas com oito estratégias de pesquisa. A melhor resposta por questão serviu de dados de treino, e 1 157 questões foram retidas após filtragem. Segundo a Samaya, esta seleção cobre 80 % dos critérios essenciais da grelha, contra cerca de 66 % para a melhor estratégia tomada isoladamente. A terceira e quarta etapas são duas fases de aprendizagem por reforço com o método GRPO: a primeira, offline, compara entre si as oito respostas do professor; a segunda, online, faz com que o modelo responda oito vezes a cada questão.
Resultados autodeclarados no FrontierFinance
O benchmark FrontierFinance conta com 220 pedidos públicos, avaliados segundo grelhas redigidas por especialistas, com o auxílio de um painel de três modelos juízes. A Samaya indica que nenhuma questão do benchmark serviu para o treino, e que os pontos de verificação foram escolhidos com base em 100 questões de validação internas.
O Sterling atinge 58,9 % em 282 segundos por questão, contra 268 segundos para o Claude Fable 5.1. O sistema Samaya em modo « high effort » obtém 56,0 %, a 1,81 dólares por questão. A pontuação progride em cada etapa, de 42,5 % para o modelo base a 51,4 %, 54,8 %, 57,5 %, e depois 58,9 %. O número mediano de chamadas de ferramentas passa de 3 para 17. No terço mais difícil das questões, a pontuação passa de 31,8 % para 45,2 %. Em modo « high effort », o Sterling atinge 60,6 % por 1,83 dólares e 372 segundos. O modelo em si custa 0,04 dólares por questão, sendo o resto do custo proveniente das ferramentas e dos modelos auxiliares. O modelo base, segundo a fonte, cabe num único GPU H100 de 80 GB em BF16, com um contexto de 256K tokens. A sua janela de contexto pode atingir 1M tokens. A Samaya não comunica a janela de contexto, nem o hardware de serviço do Sterling, e não foram anunciados pesos públicos nem API para este último. Todos os resultados são autodeclarados e publicados no benchmark da Samaya.
