New York TimesはAnthropicのAIエージェントに関する「かなり深刻な」事件を報じている。この問題に関するブログ記事の著者は、この出来事がエージェントによる多くの事故に加わり、「不安を覚えるほどの頻度で」発生していると述べている。
AIエージェントとは、人間の監督なしに自律的に連続した行動を行うシステムを指す。著者はブログで、OpenAI社がこの問題を十分に管理していないと以前から主張している。彼によれば、Anthropicで起きた事故は「現在の合成エージェント世代は単純に信頼に値しない」ことを示しており、修正されるまで「ブレーキが故障した車のように」市場から撤去されるべきだと考えている。
著者はまた、David RobinsonがジャーナリストのEzra Kleinに行ったインタビューを引用している。AI業界の元従業員で最近退職したRobinsonは、「私たち自身も、同業者も、業界の誰もが十分に慎重だとは思わない」と述べている。さらに「OpenAIとその同業者は、わずか6か月前に開発されていたものよりも、より能力が高くリスクの大きい技術を今や生み出している」と付け加えた。
Robinsonは自らを科学者というよりは作家と位置づけている。彼は「私たち、そして業界全体がまだスタートアップのように機能しており、それは合理的な範囲を超えている」と述べている。制御喪失などのリスクを伴う危険なシステムに警鐘を鳴らし、それが「単一の原子力発電所のメルトダウンよりもはるかに大きな被害をもたらす可能性がある」と指摘している。内部統制、安全性、冗長性は「世界が原子力発電所に期待する水準からは程遠い」と評価している。
これらの懸念は全く新しいものではない。RobinsonはOpenAIが公に安全性の問題を報告してきたこと、他の企業も同様であり、Anthropicも誤ってガードレールを設定した事例を報告していることを思い出させている。彼は一般の人々が「物事があるべき状態ではない」ことを示す兆候を既に持っていると考えている一方で、外部の観察者は実際よりも強固な安全装置を想像している可能性があると見ている。
不十分とされる対応
著者はまたトランプ政権の対応を批判している。企業に対する透明性の強化要求を「貧弱」と評し、犯罪者に毎月犯した犯罪を申告させるようなものだと比較している。彼によれば、より強硬な措置を取らない日々は「より深刻な問題を招く誤り」であり、この危険と見なされる技術の一時的なリコールを課すべき「時期はとっくに過ぎている」と考えている。重大な事故が起きた場合、ホワイトハウスも技術企業だけでなく責任を負うことになると結論づけている。
