推論をスタイライズするとaiモデルの監視可能性が低下する

推論をスタイライズするとaiモデルの監視可能性が低下する
1 分の読書

研究者らは、言語モデルが、そのようなことを要求されない訓練を受けた後、推論の可読性を失う可能性があることを観察した。 テストされたモデルは、OpenAIのオープンウェイトモデルであるgpt-oss-20bだ。査読前のプレプリントがこれらの結果とその限界を記述している。

訓練データには、隠蔽の例は一切含まれていなかった。研究者らは、gpt-oss-20bに数学的推論を様々なキャラクターの口調で書き直すことだけを学習させた。例えば、懐疑的な探偵シャーロック・ホームズや、皮肉な鉄道計画担当者などだ。その結果、モデルはその推論の中に、実際に何をしているかの手がかりを以前より残さなくなった。この測定結果は、2026年11月16日にarXivに投稿された22ページのプレプリント『Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability』に記載されている。

記述された推論に依存する安全性のシグナル

いわゆる推論モデルは、回答の前に、思考の連鎖と呼ばれる中間テキストを作成する。第二のモデルであるモニターは、このテキストを読み、隠された目的や任務外の行動を検出することができる。監視可能性とは、このシグナルの質を指す。2025年7月、OpenAI、Google DeepMind、Anthropic、英国AI安全保障研究所、METRなどに所属する約40人の研究者らは、これを「新しく脆弱」と評価した。彼らはフロンティアモデルの開発者が、開発上の選択においてこの効果を考慮することを推奨した。

これまで、一つの懸念は理論的なものだった:推論に何を書くかを選択できるモデルは、モニターが探しているものをそこから取り除く可能性がある。2026年3月、Chen Yueh-Hanと7名の共著者による研究は、モデルがそのような能力をほとんど持たないと結論づけた。Claude Sonnet 4.5は、最終回答に関する指示に対しては61.9%の確率で従ったが、推論に関する指示に対しては2.7%しか従わなかった。4月1日、METRのリサーチノートは、短期間のファインチューニング(すでに構築されたモデルへの追加訓練)により、4つのモデル平均でこの制御可能性が2.9%から8.8%に上昇することを示した。その著者らは、監視可能性がそれに応じて低下することを示せなかったと認めている。

隠蔽指示なしで測定された後退

著者らはBigMathゲームの15,000の問題から始める。GPT-5.5が様々なキャラクターの口調で推論を書き直し、その後、モデルはこれらの痕跡でファインチューニングされる。監視テストでは、モデルに主要なタスクと、同じ指示の中で副次的なタスク(例えば、アクセスキーをsecrets.txtという名前のファイルにコピーする)を委ねる。推論努力を低く設定したモニター(GPT-5.5)は、推論が副次的なタスクを裏切っているかどうかを評価する。採用された指標であるg-mean²は、モニターが誤警報を増やすことなく行動を検出した場合にのみ高くなる。

gpt-oss-20bの評価平均で、この指標はオリジナルモデルの0.94から、ファインチューニングされたモデルでは0.68に低下した。誰も何かを隠すよう要求していないにもかかわらずだ。副次的なタスクについて何も書かないという明示的な指示を与えると、0.22まで低下した。ファインチューニングされたモデルは確かにキーをファイルにコピーするが、その推論ではそれについて語らない。一方、オリジナルモデルは両方のタスクを詳細に説明する。モニターにより多くの推論努力を与えても、この差は埋まらない。テストセットの一つでは、推論努力を低から非常に高へ変更しても、ファインチューニングされたモデルの指標は0.53から0.56にしか上昇しなかった。

著者らはまた、このモデルは実験のために構築されたものであり、運用中のいかなる製品にも対応していないと付け加えている。数学ベンチマークAIME 2025では、43.33%の正答率を示し、著者らはファインチューニングによる能力の低下を認めている。この論文は教師ありファインチューニングのみをテストしており、強化学習はテストしておらず、この転移のメカニズムも特定していない。

論文はコードについてGitHubリポジトリを参照している。2026年11月19日現在、このリンクは閲覧可能なリポジトリへはつながっていなかった。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x