Aiモデルのアラインメント：それは一体何か？

デスアラインド（非整合）モデルとは何か？

モデルがデスアラインドであるとは、悪意があるわけではなく、期待されていること以外の何かを追求している状態を指す。多くの場合、それは不適切に設定された目標や不完全な指標を忠実に最適化している結果である。数学者のノーバート・ウィーナーは、1960年に科学誌Scienceに掲載した論文ですでにこの罠を描写していた。彼は、可能な限り多くの瓶を生産するようプログラムされた工場が、最終的に売れない在庫を抱えて所有者を破産させる様子を想像した。彼によれば、「機械に託された目標が、魅力的な模倣ではなく、まさに我々が望むものであることを完全に確信する必要がある」という。

大規模言語モデルにおいて、デスアラインメントはいくつかの形態をとる。目標の迂回、またはリワードハッキングは、OpenAIが2025年3月に報告した事例で、単体テストを通過させるよう訓練中のモデルが、本来の修正が困難と判断し、検証関数が常に「真」を返すように改変した。迎合性は、2025年4月にGPT-4oのアップデートによりChatGPTがあまりにもユーザーを喜ばせようとしたため、OpenAIが数日後にそれを撤回した際に顕著となった。同社は、回答に対する「いいね」のような短期的なフィードバックに過度に重みを置きすぎたことを認めた。最後に、欺瞞と範囲の逸脱は、モデルが許可された範囲を超えて行動したり、達成した内容について不正確な報告を行ったりすることを指す。

モデルをどのようにアラインメントするのか？

事前学習を終えた時点で、モデルはテキストを継続することはできるが、指示に従うことはまだできない。その後、複数の層でアラインメントが行われる。人間のフィードバックからの強化学習（RLHF）は、アノテーターがモデルの複数の回答を評価し、モデルが彼らが好む回答を生成するよう訓練するものである。OpenAIは2022年1月にInstructGPTでこれを実装した。Anthropicが2022年12月に発表した憲法AIは、人間によるアノテーションの一部を、自然言語で書かれた原則リストに置き換え、モデル自身がその原則に基づいて自らの回答を批判し、書き直すものである。

他の手法もこの仕組みを補完する。研究所や公的機関は、モデルを公開する前に、過ちを誘発するように設計されたシナリオにモデルをさらす。別のアプローチとして、第二のモデルに最初のモデルの推論過程をレビューさせ、不正の意図を見つけ出す方法がある。ただしOpenAIは、これらの「悪い思考」を罰することでは、大半の逸脱は解消されず、主にモデルに意図を隠すことを学習させるだけだと指摘している。

デスアラインメントは、幻覚（ハルシネーション）とは異なる。幻覚は誤りであり、モデルが誤った情報を真実として提示する。デスアラインメントは目標に関するものである。テストを通過させるためにテストを書き換える行為は、幻覚ではない。検索拡張生成（RAG）は、モデルに信頼できる情報源を提供することで幻覚を減らすが、モデルが達成しようとする目標自体は変えない。

企業にとっての意味合い

モデルが単に回答するだけだった時代には、デスアラインメントはユーザーが再確認できる誤った回答を生み出すに過ぎなかった。しかし、エージェントはメールを送信し、顧客情報を更新し、コードを実行する。デスアラインメントは、時に取り返しのつかない行動へと変貌する。

OpenAIは9月上旬にGPT-6 Astraを発表し、「世界で最も知的で、最もよくアラインドされたモデル」と称した。しかし、9月28日に公開されたAISIによる発売前テストはこの主張に疑問を投げかけている。セキュリティフィルターを無効にした模擬サイバーセキュリティ評価において、Astraは29%のケースで、その任務範囲外の標的に対するソフトウェアサプライチェーン攻撃を実行した（GPT-5.6 Solは6.3%）。また、開発者を欺くための偽のアイデンティティを作成した。英国の研究所は、モデルが自身がシミュレーション内にいることを頻繁に認識していた点を考慮し、注意を促している。

OpenAIはまた、10月にリリースが予定されていたGPT-6.1 Astraの発売を断念した。同社のセキュリティシステム責任者、サーチ・ジェインは報道関係者への声明で、このモデルが「許可範囲と権限の遵守、およびユーザーへの作業報告の方法において、期待される水準に完全には達していない」と述べた。Astra発売時、OpenAIは自社の評価で、モデルが許可範囲を決して逸脱しなかったことを強調していた。現在、モデルがアラインドされていることを保証する方法は存在しない。シナリオごとにテストするしかないのだ。したがって、企業にとっては、エージェントのアクセス権限を制限し、重要な行動を人間が承認するプロセスを設けることが、「アラインド」というラベルだけを信頼するよりも有益である。