Samaya AI、金融エージェント検索モデル「Sterling」を発表。3BパラメータでClaude Fable 5.1をFrontierFinanceベンチマークで上回り、コストは11分の1

SterlingはNVIDIA Nemotron 3.5 Lightningを基盤としている。これは300億パラメータのMixture of Experts（MoE）モデルで、各リクエストでパラメータの一部のみを活性化するアーキテクチャである。活性化されるのは30億パラメータのみ。Maithra RaghuによるXでの発表によれば、このプロジェクトは、エージェントオーケストレーションの効率化に関する2人での取り組みから始まった。

小規模モデルに適したハーネス

ハーネスとは、モデルを制御する指示、ツール、メカニズムの集合体を指す。Samayaは、本番環境で使用されている金融向けハーネスを、このより小規模なモデルに適合させた。詳細な指示はシステムプロンプトやツールの説明から削除され、一部のツールはプロンプトを短縮するために統合された。2つの補助モデルがコンテキストを管理する：1つは長いツール結果を短縮する要約器、もう1つは作業履歴が長くなるにつれてそれを要約する圧縮器である。

研究予算が最終的にエージェントの作業時間を制限する。その後、レポート作成者が見つかった要素に基づいて回答する。

4段階のトレーニング

トレーニングにはLoRA技術が使用され、既存モデルをわずかに調整する。これはThinking Machines LabのトレーニングAPI「Tinker」上で行われた。第1段階は、968の合成アナリスト質問に対する教師ありファインチューニング（SFT）である。教師モデルであるKimi K3が各質問に2回回答し、LLMベースの評価者が最良の回答を選択した。モデルは、37のツールを有効な引数で呼び出すことを学習した。

第2段階では、専門家によって作成された1,819の質問を、8つの研究戦略を用いて処理した。質問ごとの最良回答がトレーニングデータとして使用され、フィルタリング後に1,157の質問が保持された。Samayaによれば、この選択は評価基準の必須項目の80%をカバーし、単一の最良戦略のみを使用した場合の約66%を上回る。第3段階と第4段階は、GRPO法を用いた2段階の強化学習である：第1段階（オフライン）では教師モデルの8つの回答を相互比較し、第2段階（オンライン）ではモデルが各質問に8回回答する。

FrontierFinanceにおける自主申告の結果

FrontierFinanceベンチマークは220の公開クエリからなり、専門家によって作成された評価基準に基づき、3つの評価モデルからなるパネルを用いて採点される。Samayaは、ベンチマークの質問がトレーニングに使用されていないこと、およびチェックポイントが100の内部検証質問に基づいて選択されたことを示している。

Sterlingは質問あたり282秒で58.9%を達成し、Claude Fable 5.1は268秒であった。Samayaシステムを「high effort」モードで実行した場合、56.0%を達成し、質問あたりのコストは1.81ドルである。スコアは各段階で向上し、ベースモデルの42.5%から、51.4%、54.8%、57.5%、そして58.9%へと上昇した。ツール呼び出しの中央値は3から17に増加した。最も難しい3分の1の質問では、スコアは31.8%から45.2%に向上した。「high effort」モードでは、Sterlingは質問あたり1.83ドル、372秒で60.6%を達成した。モデル自体のコストは質問あたり0.04ドルで、残りのコストはツールと補助モデルによるものである。情報源によれば、ベースモデルは80GBのH100 GPU 1台にBF16形式で収まり、コンテキスト長は256Kトークンである。そのコンテキストウィンドウは1Mトークンに達する可能性がある。Samayaは、Sterlingのコンテキストウィンドウやサービングハードウェアについては公表しておらず、公開ウェイトやAPIも発表されていない。すべての結果は自主申告によるもので、Samayaのベンチマークサイトで公開されている。