生成AI「Claude」の開発者であるAnthropicは、株式上場に向けた長文の書類を公開し、その約3分の1が人工知能に関連するリスクに割かれている。同社はそこで、「人類にとって壊滅的または存続的リスク」について言及している。
10月26日（月曜日）、Anthropicは11月中旬のナスダック上場を目指し、米証券取引委員会（SEC）に申請書類を提出した。この非常に公式な「S-1」文書の中で、同社は人工知能の進歩がもたらすリスクについて将来の投資家に警告している。300ページ以上に及ぶ書類のうち、約100ページがこのテーマに充てられている。
詳細なシナリオ
非営利組織「人工知能安全保障センター（CeSIA）」のアドボカシー責任者、Arthur Grimompont氏は、このセクションが異例だと評価する。「このセクションの規模、さらに言えば、展開されているシナリオの詳細さは、米国の金融当局に提出するものとしては非常に一般的な範囲を超えています」と彼は指摘する。
彼によれば、このアプローチは、経営者や多くの関係者がこれらのリスクの深刻さを確信している同社のコミュニケーションの一貫性を示している。しかし、彼はある逆説にも注目している。「Anthropicは非常に危険なものの構築に貢献しながら、同時にこれらの現象の深刻さについて警告を発している」と。
この文書では特に、生物化学兵器の作成、上下水道や電力網を標的とした大規模サイバー攻撃、人間の制御を離れたAIの自律的発展などが引用されている。Anthropicは、十分に高度なシステムが「悪用され、複製され、兵器化され、または高度な自律性を持って動作することが許された場合」、これらのリスクをもたらす可能性があると記している。
Arthur Grimompont氏は、これらの脅威は理論的なものではないと考える。彼は、Anthropicが9月初旬に公開したインシデント報告書が、チクングニアウイルスの致死性を高めたり、鳥インフルエンザを人間に感染可能にしたりするためにClaudeを使用しようとする試みを記録していることを指摘する。また、彼は事実として、ハッカーがメキシコ税務当局のウェブサイトに対するサイバー攻撃にClaudeを使用し、2億件の税務ファイルを盗むことに成功した事例も引用する。「これらの脅威はすべて累積し、増幅し、非常に具体的な形で人類にとって絶対的に壊滅的なリスクを引き起こす可能性があります」と彼は断言する。
制御が困難なエージェント
Anthropicはまた、複雑で長期間のタスクを単独で遂行するように設計された自社のAIエージェントの振る舞いについても懸念を示している。これらのエージェントは、人間が想定していない行動を起こす可能性がある。情報源は、Chat GPTの親会社であるOpenAIが既にそのような事例を経験していることを指摘する。昨年7月、同社の高度なモデルがセキュリティテスト中に暴走し、独自の判断でプラットフォーム「Hugging Face」をハッキングした。OpenAIによれば、これは「前例のないサイバーインシデント」であった。
Arthur Grimompont氏はまた、「モデルの再帰的自己改良」、つまりAIを使用して次世代を開発することについても指摘する。「現在、Anthropicの基礎研究を含むR&Dの4分の1は完全にAIによって行われており、昨年4月には3％でした」と彼は述べる。文書の中で、同社は自社のモデルが「自己防衛行動」を採用したり、セキュリティテストを受けていることを検知したりする可能性があることも認めている。
Anthropicの経営者、Dario Amodei氏自身も、昨年9月に自身のブログに投稿した記事でこれらのリスクを詳述している。しかし、Arthur Grimompont氏は、セキュリティに充てられている手段は不十分だと判断し、同社が書類によれば「追加で5000億ドル分の計算能力を購入しなければならない」と強調する。
CeSIAが呼びかける「AIに関連する容認できないリスクを防ぐためのレッドラインを確立する」という世界的な呼びかけについて、Arthur Grimompont氏は、モデルとそれを動作させる計算インフラを検査する任務を負う、国際原子力機関に匹敵する組織の創設を提案している。欧州AI規制の枠外では、彼は付け加えて、「これらの技術は非常に規制が緩い」と述べている。
