Anthropic、投資家に制御不能なAIのリスクを詳細説明

これらのリスクは、米国証券取引委員会（SEC）への企業の提出書類に記載されている。悪意のある行為者が致死性兵器を製造するためのAIモデルの利用から、技術が制御不能となり「計り知れない」結果を招く可能性まで多岐にわたる。

財務、役員報酬、配当政策などについて主に記述された335ページの文書のうち、93ページが「リスク要因」、すなわち潜在的な株主の投資を損なう可能性のある事柄に割かれている。競合他社のSpaceXは250ページ以上の中で38ページを割いている。投資家を惹きつけるため、Anthropicは株式公開を、同社が考えるAIがもたらすリスクを軽減するための一歩として位置づけている。

将来の株主への書簡で、創業者たちは次のように記している。「AIを構築することは、認知そのものを利用することであり、それほど強力なものは、善にも悪にも利用されうる」。彼らはさらに、Anthropicは「深く価値観に導かれる組織であり、世界がAIの恩恵を享受し、その危険を回避するのを支援するために、主として設立された」と付け加えている。

制御不能な技術のリスク

Anthropicは、自社のモデルがあまりにも急速に発展し、適切な安全対策を講じることができなくなる可能性があると述べている。そのような状況は「セキュリティインシデント、規制当局の介入、または評判への損害の可能性を高め、事業に悪影響を及ぼす可能性がある」。最高経営責任者のダリオ・アモデイは9月に、6〜12ヶ月以内に、AIがインターネット全体を乗っ取ることができるエージェントの群れを指揮できるようになる可能性があると警告していた。

提出書類によれば、システムが「より自律的になり、人間の監督が少ない状態で重大な結果をもたらす決定を下せるようになる」につれ、それらは独立して大規模に有害な行動を取る可能性がある。同社は、たとえ自社のモデルがそのような損害を引き起こさなかったとしても、最先端AIに関わる重大なセキュリティインシデントが業界全体に損害を与える可能性があると指摘している。

悪意ある利用と計算能力の限界

文書はまた、十分な安全策が講じられていない場合、先進的なシステムが「人類にとって壊滅的または存続に関わるリスクをもたらす」可能性にも言及している。Anthropicは特に、化学兵器の製造や、権威主義的な指導者が市民を弾圧するための技術利用を挙げている。同社は9月に、サイバー攻撃、監視、生物兵器開発につながる可能性のある研究など、悪意ある目的で自社モデルを利用しようとする試みをブロックしたと報告していた。

同社はまた、AIモデルの訓練、テスト、改良に必要な計算能力、つまりコンピューティングリソースについても言及している。これらは高価で需要が非常に高い。さらに、提出書類は、データセンターの建設が、環境への影響、土地と水の利用、限られたエネルギー資源の配分に関して「公的な論争と規制当局の監視」を引き起こしていると強調している。

セキュリティに基づく戦略

Anthropicは責任あるAI企業としての立場を確立し、プロフェッショナル顧客に対してセキュリティ面での警戒心を前面に押し出している。「最先端のAI企業は、この技術の責任ある普及を確保するために、セキュリティと整合性に投資すべきであると我々は考えている」と提出書類は述べている。

Zacks Investment Researchのチーフ・マーケット・ストラテジスト、ブライアン・マルベリーは、株式公開では投資家が負うリスクを「非常に明確に」提示しなければならないと指摘する。彼によれば、これは米国資本市場の強みの一つである。米国の取引所に上場することは、これらのリスクを「非常に明確な方法で」開示することを義務付け、誰もが自分の資金を提供することで何に投資しているのかを理解できるようにする。