OpenAIやAnthropicを筆頭とする最先端のAI研究所では、自らのプロセスと成果を改善するために、数千ものエージェントを同時に稼働させている。ニュースレター「Interconnects」に掲載された分析記事で、筆者はこのペースが従業員の期待をどのように変えているか、また、AIリスクが人類の絶滅につながる可能性があるという考え方について考察している。彼はこの考えを「非常に宗教的」だと評している。
彼によれば、サンフランシスコのシーンにおける非常に競争的な文化が、AIに関するあらゆる懸念を増幅しているという。彼は、2023年と2024年に活発化したAI安全性やオープンソースAIの持続可能性に関する多くの議論を想起させる。当時主要とされたリスクは、予想されたタイムライン内には発生しなかった。また、「OpenAI-HuggingFace」のようなインシデントも引用し、特にエージェントの効率が2026年初頭に向上して以来、不安の高まりがさらに強まる可能性があると見ている。
近い未来に焦点を当てるコミュニティ
筆者はリチャード・ゴーの要約を引用する。ゴーは、AI安全性コミュニティの多くが今後数年間における知能爆発のシナリオに向かっていると観察している。ゴーによれば、これらの予測は「方向性としては正しいが、事実に関しては間違っている」という。彼は特に次のように書いている。「今後8年間で超知能は現れないが、物事は非常に速く進むため、短期間のタイムラインを主張していた人々が正しかったように見えるだろう。」
筆者はこの立場を、自身の仮説である「ロッシー・セルフ・インプルーブメント（lossy self-improvement）」、すなわち「損失を伴う」自己改善（AIの再帰的自己改善（RSI）とは対照的に、AIが自らの設計改善に貢献するもの）と関連づけている。彼は、自動化可能な研究領域は進歩を劇的に加速させるにはまだ狭すぎると考えており、エージェントを並列に追加することによる収穫逓減は現実的であり、リソース制約と政治的要因が大きく影響していると見ている。
専門家によって大きく異なるタイムライン
筆者は、ドワルケシュによるノーム・ブラウン、そしてジョン・シュルマン、ベレン・ミリッジ、チャーリー・オニールとのポッドキャストを参照している。これらの対話で、参加者たちはいくつかの能力についてのタイムラインを示している。汎用的な事務作業を1ヶ月間遂行できる「即戦力のリモートワーカー」については、ジョン・シュルマンは「まともな」バージョンまでに約1年、チャーリー・オニールはプログラマティックなツールアクセスがあれば約1年、ブラウザ経由が必要なら2年と述べ、ベレン・ミリッジは完全な汎用性までに約3年としている。
AI研究者の生産性が10倍になることについては、ジョン・シュルマンは約2年、チャーリー・オニールは5年から10年とし、ベレン・ミリッジは2年という見積もりは妥当だが別の見積もりは提示していない。コンピュータ関連作業の全て、複数年にわたるプロジェクトを含む分野で最高の人間の専門家を超えるAI（「ASI」）については、ジョン・シュルマンは3〜4年、ベレン・ミリッジは研究所が対象とする分野で約5年、チャーリー・オニールは5年から10年としている。
主な進歩は効率性において
筆者は、モデルの知能はタスクによって依然として不均一であるため、進歩は明確なしきい値を越えないと強調する。実験ループは10倍速くなる可能性があるが、仮説の構築はそうならないと彼は考えている。彼によれば、自己改善は主にモデルのコスト削減とマルチエージェントシステムの改善に役立つはずであり、LLMのサービスメトリクスは測定可能だからだ。
しかし、彼はコストに関しては慎重である。スケーリング則は、知能の線形的な向上を得るために指数的なリソースが必要であることを示しているからだ。彼は、自動化が難しいとジョン・シュルマンが評したファインチューニングについて引用する。「ベンチマークには現れないような方法でファインチューニングを台無しにするのは非常に簡単だ」。最後に、彼は「Claude Fable 5.1 & Mythos 5.1 System Card」の一節を紹介する。「我々は、最近のAIモデルの社内利用が現在の進歩ペースを維持するための重要な要因であったと考えているが、このペースを超えた劇的な加速の明確な兆候はまだ見ていない」。現時点では、筆者は自身の仮説が依然として基準であると考えている。
