認知的降伏：「私たちはaiをあまり吟味せずに従っている」

スティーブン・ショウとギデオン・ナヴェによる研究は、事前登録された3つの実験と、1,372人の参加者と約9,600回の試行を対象とした総合分析に基づいています。参加者は直感的には誤った答えを導きやすく、熟考すると正しい答えが出る認知反射テストの問題に答えました。ChatGPTアシスタントが利用可能でしたが、参加者は試行ごとに隠された指示により、正しい答えか直感的誤答のいずれかを短い説明付きで提示されていることを知りませんでした。

区別しない信頼

参加者はアシスタントを約半分以上の頻度で参照しました。正しい答えの時は92.7％の確率で従い、誤答の時でも79.8％の確率で従いました。正解率はAIなしで45.8％、正しいAI使用時で71.0％、誤ったAI使用時で31.5％でした。支援を受けた参加者の信頼度は単独参加者より約12ポイント高く、受け取った回答の半数は誤りでした。

コラムの著者によると、警戒すべき数字は92.7％と79.8％の差が小さいことです。自分より信頼できる助言者に従うのは合理的ですが、問題は信頼の調整にあります。信頼はツールが正しい時に高まり、間違った時に下がるべきです。

著者らは、カーネマンが提唱した直感的な速い思考と熟考の遅い思考の2つのシステムに加え、「システム3」として人工認知を提案しています。また、認知的負荷軽減（タスクをツールに任せつつ思考は保持）と認知的降伏（システムの答えを検討せずに受け入れる）を区別しています。

医療で既に知られている現象

医療分野ではこのメカニズムは自動化バイアスとして長く知られており、自分の判断より自動化システムに頼る傾向を指します。2012年の系統的レビューでは、作業負荷、タスクの複雑さ、時間制約、システムへの信頼が悪化要因として挙げられています。

放射線学誌に掲載された実験では、27人の放射線科医が誤った分類を提案する偽のAI支援でマンモグラフィを読影しました。誤った提案時、経験の浅い医師の正解率は約80％から約20％に、経験豊富な医師でも82％から45.5％に低下しました。専門知識は保護しますが十分ではありません。

著者によると、大規模言語モデルで変わるのはメカニズムではなくその力です。対話型アシスタントはあらゆる話題に対し文章化され根拠付きの回答を提供し、認知心理学では処理の容易さが真実感と結びつくことが知られています。

保護するもの、欠けているもの

時間経過は認知的降伏を著しく悪化させます。金銭的インセンティブと誤りへの即時フィードバックを組み合わせると、誤ったAIを訂正する参加者の割合は20％から42％に増えますが、多くは訂正しません。知的努力への意欲と流動性知能は保護的であり、高いAIへの信頼はリスクとなります。

著者は設計上の複数の手段を挙げています：システムの答えを表示する前に自分の答えを求める、不確実性を見える化する、結論ではなく情報要素を提示する、正解が既知のケースで降伏を測定するなど。

これらの結果の限界も認められています。単一の問題群のみが実験され、AIの誤りが知られている実験室条件下で行われました。実務では誤答が必ずしも指摘されません。持続的な影響は未評価であり、観察研究では内視鏡医のAI導入後、大腸鏡検査での腺腫検出率が28.4％から22.4％に低下しています。