AIセキュリティ研究組織METRの新報告書によると、Anthropicは自社モデルの開発を加速させるためにAIを利用している。この文書によれば、同社のモデルの進歩速度は約1年前と比べて約2倍速くなっており、明らかな減速の兆候は見られないという。報告書はまた、一般の人々はこのペースとそれに伴うリスクについて実際にどれだけ知っているのか、という疑問も提起している。
この報告書は、同社のAI研究開発活動を評価する一環として、企業内で11週間にわたって実施された調査の成果である。METRによると、ベンチマークのスコアは、Anthropicが「過去1年間で約2年分の歴史的進歩を達成した」ことを示唆している。研究者らは、この加速が単にモデルの訓練に使用される計算能力の増加によるものではないと「確信している」と述べている。計算能力は長らく進歩の主要な原動力と考えられてきた。
AIがAnthropicの研究を加速
METRによると、10月に観察された加速の大部分は「AIによるもの」であり、その貢献度は時間とともに増加しているという。この見解は、Slack上で行われた非公式のアンケートや従業員へのインタビューに基づいており、そこでは大幅な生産性向上が報告されている。平均して、同社の最も高性能な内部モデルを使用する従業員は、AIの支援なしの場合と比べて約12倍生産性が高いと報告しており、これは数ヶ月前にMythos 5を使用していた際に報告されていた値の約2倍に相当する。
現時点では、この加速は主に人間の研究者を支援するAIによるものであり、AIが単独で作業しているわけではない。しかし、METRは「完全自律的な貢献が間もなくより重要な役割を果たすことを示唆するいくつかの兆候がある」と警告している。研究者らは、減速の明確な兆候や、さらなる加速を妨げる可能性のあるボトルネックは何も確認していない。
さらに、Anthropicの3つの新モデルが過去6ヶ月間に訓練を完了したが、公開されていない。これらはコードネームModel 2、Model 3、Model 4と呼ばれ、それぞれ7月、8月から9月の間、9月から10月の間に訓練が終了した。METRはまた、2022年製の未公開モデル「Unreleased 2022」にも言及している。研究者らは「これらは我々に伝えられたコードネームであり、内部では異なる名前が使われていると理解している」と説明している。
墨塗りされた情報
AnthropicはMETRに対し、非公開情報、具体的には機密研究、モデルの性能データ、従業員へのインタビューへのアクセスを許可した。しかし、報告書はアクセスが無制限ではなかったことを明記している。Anthropicは最終版を墨塗りする権利を有しており、METRは約100ページの報告書を提出したが、公開版からは同組織が最も有益と判断した「証拠の大部分」が削除されたと述べている。
Anthropicはこれらの削除を、競合他社に利益をもたらすリスクを理由に正当化している。一方、METRは「墨塗りされた情報の大部分は非常に高水準のものだった」と評価しているが、これらの判断が商業的な性質を持つかどうかについては言及していない。Xに投稿された長文メッセージで、Anthropicの共同創業者Sam McCandlishは認めている：「我々は多くの部分を墨塗りした。それがMETRの作業の検証を難しくしていることは承知している」。彼は同社が「正しい決断をした」と主張し、AIの進歩速度に関する自社の報告書を近く公開することを発表した。
透明性への高まる圧力
この報告書はAIセキュリティ研究者の間で強い批判を呼んだ。OpenAIの元研究者でAI Futures Projectを率いるDaniel Kokotajloは、Anthropicを「我々の命を無謀に賭けている」と非難した。Institute for AI Policy and Strategyの先端モデルセキュリティ研究ディレクター、Brianna Rosenは、「報告書は証拠について十分に透明性がなかった」と判断している。AnthropicはThe Vergeの質問に答えることを拒否し、Sam McCandlishのメッセージを参照するよう促した。
ニューヨーク州議会議員Alex Boresは、議会に対し「可能なら今年中にRSIを禁止するよう」呼びかけた。RSI、すなわち再帰的自己改良とは、人間の介入なしに、より強力な後継システムを開発できるAIシステムを指す。Apollo Researchの創業者兼CEO、Marius Hobbhahnは、結果は「全体的にこの分野が予想していたものと一致しており、『おそらく少し速い』」と評価し、「狂気に備えよ。これは非常に速く進んでいる」と警告した。
