ブログ記事の中で、あるAI研究者は、モデルのエンジニアリングが今後数年で加速する一方で、その本質は変わらないと説明している。 彼によれば、モデルは数年以内に超人的なGPUエンジニアとなり、実験を大幅に容易にする能力を持つようになるという。また、計算効率や強化学習環境の質など、いくつかの分野では手の届く範囲での進歩が期待できると述べている。
ますます容易になる研究
著者は、業界の研究者たちから、AIが数年以内に自分たちの仕事を上回るようになるとよく聞かされると指摘する。この加速の原因を、著者はモデルのインフラストラクチャとエンジニアリング能力の向上に求め、この点については同意している。ただし、これらの進歩によってモデルの本質が根本的に変わるわけではないと付け加えている。
彼によれば、イリヤは、ある意味でAI研究の時代を早くも告げていた。今日では、コードエージェントのおかげで研究ははるかに容易になっている。この記事は、優れたアイデアが優れたソフトウェア実装よりも価値を持つ時代の始まりを見ている。
著者は、研究とエンジニアリングのバランスが過去にも変化したことを思い起こさせる。ディープラーニングの台頭以前、AIは主に研究の領域だった。今日では、優れた研究者は、複雑なインフラストラクチャの中でアイデアを実装し、スケールさせる能力で評価される。著者は、エンジニアリングがボトルネックでなくなる「数年単位」の加速を予測している。
知能の効率性とコスト
トレーニングと推論（モデルを使用して応答するプロセス）の多くのステップは、正確に測定できる。記事では、1秒あたり・GPUあたりに処理されるトークン数、リクエストあたりのトークン数、トークンあたりのFLOPs、回答あたりのコストなどが挙げられている。著者は、これらの指標は最適化の余地が大きく、AIエージェントが数年以内にプロセス全体の改善に役立つ可能性があると見ている。
記事によれば、効率化による利益はすでに大きく、例えば、ある価格で発表されたモデルのサービスコストが「10〜30％程度」削減された例があるという。著者は、モデルの知能の実効コストがほぼ指数関数的に低下し、最近の傾向よりも速くなる可能性があると予想している。また、アクセラレータとモデルの共同設計が、より長い時間スケールでさらなる利益をもたらすと予測している。
さらに記事は、効率化が需要を増大させる可能性があるというジェボンズのパラドックスが、エージェント型モデルにおいて十分に発揮されるだろうと主張する。著者は、MetaのエージェントMuseをこの動きの初期の兆候として挙げ、様々なユーザー層を対象とした同様の実験がさらに増えると予測している。
データと学習環境
最後に記事は、モデルが試行錯誤と報酬によって学習する強化学習環境向けのデータ市場について言及する。この分野の複数の企業が「1億ドル」または「10億ドル」の売上高の閾値を突破しており、著者によれば、これは彼が想像していたよりも多い数だという。しかし、これらの生産物の平均的な質は「驚くほど低く」、多くの研究者が購入するものの一部を低品質と評価していると指摘している。
それでも、大規模な研究所はこれらの購入から明確な投資対効果を得ていると記事は述べている。著者にとって、多くの環境の質の低さは明らかに修正可能な問題である。
