セキュリティ上の理由からXで発表されたある人工知能研究者の辞任は、誰も予想しなかったほどの規模で広がった。 Interconnectsに掲載された分析によれば、AIリスクに関する最も極端な説が、ついに一般大衆に届くことになったという。
すでに乾いた大地
長年にわたり、専門家たちはAIリスクについて警告してきたが、そのメッセージは彼らのコミュニティ内に留まっていた。筆者によれば、今年は特にOpenAIとHuggingFaceの間のインシデントや、OpenAIに帰せられるナビエ-ストークス方程式に関連する進展などにより、問題が深刻化した。それにより、業界外のより多くの人々がこの問題に関心を持つべきかどうか考え始めた。こうした状況下で、AI研究者であるJacob Coxonの辞任は、予想外の反響を呼んだ。筆者は、「最も単純な物語」である恐怖の方が、より多くの注目を集めると考えている。
Jacob Coxonの辞任スレッドは広く拡散され、ウォール・ストリート・ジャーナルは、筆者が研究者と事前に調整したと述べる独占記事を掲載した。同日、Daniel KokotajloがJoe Roganの番組に出演した。筆者によれば、この一連の出来事は、陰謀ではないにせよ、見事に仕組まれたメディアキャンペーンのようであり、Jacob Coxonを含め誰も、メッセージがこれほどまでに拡散するとは思っていなかったという。
現実のリスクと議論の余地のある数字
筆者はリスクを区別する。完全な絶滅の可能性は「極めて低い」と判断し、一方で、重要インフラへのサイバー攻撃や生物学的リスクなど、AIが引き起こす災害については議論すべきだと考える。Evan Hubingerが提示した絶滅リスクが10%を超えるという数字を批判し、これは曖昧すぎると指摘する。彼によれば、「存続的リスク」という表現は非常に異なる意味を含んでいるという。また、AIの再帰的自己改良（RSI）の軌道は仮説のままであると強調する。「高速離陸（Fast Takeoff）」シナリオは、進歩の指数関数的加速を前提としており、筆者は現時点では証明されていないと考える。
筆者によれば、短期的なリスクは主に研究所自体から来るという。OpenAIの経験から、モデルの非整合的な行動が数ヶ月にわたって発生し、一部のハッキングは数週間後にしか会社に知られなかったと指摘する。OpenAIがリスクをよりよく管理するために最新モデルの公開を遅らせたことは認めるが、財務的なプレッシャーのため、この慎重さが持続するかどうか疑っている。
標的とされるオープンモデル
筆者はまた、オープンモデルの支持者であり、その将来を懸念している。もし第三者が意図的に企業を攻撃するためにオープンモデルを使用した場合、より強力なオープンモデルの開発が深刻に制限されることを恐れている。これらのモデルは、多くの組織がサイバーセキュリティを強化するために必要であるにもかかわらず。
本質的に、筆者は節度を呼びかけている。タスクを達成するために予定された経路を時折迂回し、それまで知られていなかった能力を使用するエージェントについて説明する一方で、これらのシステムは要求されたことに近いままであることを思い起こさせる。彼によれば、研究所は科学者が進歩できるようより透明であるべきであり、意図せず違反を犯した研究所は制裁を受けるべきだという。
