トークンを「釣る」方法：誰もが学べる手法

最もよく引き合いに出されるアナロジーには、ある区別が立ちはだかる。厳密な意味でのオープン言語モデル、つまり完全なトレーニングレシピ、データ、コードとともに提供されるものは、オープンソースのオペレーティングシステムに近いと言える。オープンウェイトモデルは、学習済みパラメータとそれを実行するコードのみを提供するもので、プロジェクトにインストールされた特定バージョンのソフトウェアにより似ている。

モデルのウェイトは平均的に寿命が短いが、多くの広く使われるソフトウェアと同様に、長期間使用され続ける。このため著者は、自律的に行動を連鎖させるエージェント的行動が数年後に発展した後も、多くの企業がワークフローをLlama 3上で継続して実行していると指摘する。現在Olmoやその前身であるEleutherAIのPythiaなどによって例示されるオープンレシピは、どの企業でも再利用、改変、再実行して新しいウェイトセットを生成できる、リソース集約的なプロセスである。コミュニティによるデータやトレーニングコードへの改善は、最良の場合、次世代の生成に貢献しうる。

この文脈において、Nvidiaはほぼオープンなモデルに多大な投資を行っている。同社のNemotronモデルでは、法的に公開可能な全てのデータとトレーニングコードを公開している。著者はここに、知性が独占されない世界、つまり多くの企業による推論需要が高いことを前提とした世界において、多くの人々が自身の「トークン生成マシン」を構築できるようにする意志を見出している。トークンはモデルが処理するテキストの単位であり、推論は応答を生成するためのモデルの使用を指す。

厳しい経済性

競争力のあるモデルの開発は依然として非常に高コストだが、著者によれば、この競争への参入は業界内で多くの人が想像したよりも広く開かれていた。彼は、ほとんどの観察者がトレーニングは高すぎ、オープンレシピは遅すぎて、LLMトレーニングの一部に特化した新しい研究所が成立するのは難しいと考えていると指摘する。しかし、Databricksや01.aiの撤退は、一般的な傾向の兆候というよりは孤立した事例だと彼は見ている。

二つの軌道が浮かび上がる。一つ目は、このアプローチが機能する道だ。Wiredによれば、Nvidiaはこの事業に260億ドルを投じているとされ、この賭けが成功すれば、同社のチップへの需要と利益はモデル構築コストを上回るだろう。著者は、オープンエコシステムは今後数年間ますますNvidiaの資金に依存するようになり、これらのモデルの経済的報酬は、最終的にはAnthropicやOpenAIのAPIから生み出される収入に比例する必要があると見積もっている。

可能性のある二つの軌道

二つ目は、これらのいずれの資金調達経路も実現しない場合、オープンモデルは最も先進的なクローズドモデルとは異なる道を歩むというものだ。それは効率性、変更可能性、専門化に焦点を当てた道である。著者はこのシナリオを最も可能性が高いと考えている：オープンモデルは非常に有用であり続けるが、知識作業、創薬、ソフトウェア開発などの分野で支配的な地位を占めるクローズドモデルに対し、主に「ロングテール」を形成することになるだろう。このロングテールは、オンプレミスで展開され、プライベートデータと反復タスクを扱う専門化されたエージェントの形をとる可能性がある。

著者はまた、トレーニングがより複雑で抽象化されてきていることも強調する。現在のオープンモデルの隆盛は、主にポストトレーニング、つまりDeepSeek V4 Flash、Inkling Small、GLM 5.Xのようなモデルを、多くの場合ファインチューニング（微調整）を介して、特定のエージェント的タスクに適応させることに大きく依存している。彼によれば、現在最も人気のあるファインチューニングインターフェースであるTinkerがこの実践を象徴している。しかし、基盤モデルを汎用的なエージェント的推論モデルにトレーニングする能力は、数年前の大規模事前トレーニングの実践と同じくらい不透明になってきていると彼は述べる。事前トレーニング、中間トレーニング、事後トレーニングに基づく従来の用語は、事前トレーニング、推論トレーニング、事後トレーニングへと進化する可能性がある。

基盤モデルを公開するプレイヤーの数は減少しており、一部の公開者は、自社モデルを製品や推論に使用する際の収益共有ライセンス（Kimi-K3やQwen3.8-2.4T-A95Bのものなど）を実験している。最後に、著者はMetaのケースに触れている。同社はオープンライセンスでウェイトを公開する可能性があり、彼によれば、高性能モデルであるMuse Spark 1.2の公開は、トークンの販売に収益を依存するAnthropicやOpenAIの成長を阻害するだろうという。Nvidiaは誰もがトークンを釣る方法を学ぶことを望み、Metaは市場をトークンで溢れさせようとしている。