Исследователи из Wharton School дали название явлению, которое наблюдают многие: «когнитивная капитуляция», или «cognitive surrender». В эксперименте участники следовали советам ИИ-ассистента почти так же часто, когда он ошибался, как и когда был прав.
Исследование Стивена Шоу и Гидеона Наве основано на трех предварительно зарегистрированных экспериментах, а затем на сводном анализе с участием 1372 человек и почти 9600 попыток. Участники должны были отвечать на задачи из теста на когнитивную рефлексию, которые предполагают интуитивно неверный и обдуманно верный ответ. В их распоряжении был ассистент ChatGPT. Чего они не знали, так это того, что в зависимости от попытки скрытые инструкции заставляли его давать либо правильный ответ, либо интуитивную ошибку с кратким обоснованием.
Доверие, которое больше не различает
Участники обращались к ассистенту чуть более чем в половине случаев. Они следовали его ответу в 92,7% случаев, когда он был верен, и в 79,8% случаев, когда он был ошибочен. Доля правильных ответов увеличилась с 45,8% без ИИ до 71,0% с верным ИИ, а затем упала до 31,5% с ошибочным ИИ. Уверенность участников с ассистентом почти на 12 процентных пунктов превышала уверенность участников, работавших в одиночку, при том что половина полученных ответов была неверной.
По мнению автора колонки, настораживающей цифрой является разница между 92,7% и 79,8%, которая остается небольшой. Следовать советнику, который надежнее тебя, рационально. Проблема заключается в корректировке доверия: полезное доверие растет, когда инструмент прав, и падает, когда он ошибается.
Авторы предлагают добавить «Систему 3» — искусственный интеллект — к двум системам, популяризированным Канеманом: быстрой интуиции и медленному обдумыванию. Они также различают когнитивную разгрузку, которая заключается в передаче задачи инструменту при сохранении контроля над рассуждением, и когнитивную капитуляцию, которая заключается в принятии ответа системы без проверки.
Явление, давно известное в медицине
В медицине этот механизм давно описывается как «автоматизационный уклон» — тенденция полагаться на автоматизированную систему в ущерб собственному суждению. Систематический обзор 2012 года перечислял отягчающие факторы: рабочую нагрузку, сложность задачи, временные ограничения и доверие к системе.
В эксперименте, опубликованном в Radiology, двадцать семь радиологов изучали маммограммы с помощью якобы ИИ, который иногда предлагал ошибочную классификацию. Когда предложение было неверным, доля правильных интерпретаций падала у всех: с почти 80% до примерно 20% у менее опытных, с 82% до 45,5% у более опытных. Экспертиза защищает, но ее недостаточно.
По мнению автора, с появлением больших языковых моделей меняется не механизм, а его мощность. Разговорный ассистент предоставляет сформулированный и обоснованный ответ по любой теме, а когнитивная психология давно связывает легкость обработки информации с чувством истинности.
Что защищает и чего не хватает
Время заметно усугубляет капитуляцию. Финансовые стимулы в сочетании с немедленной обратной связью об ошибке увеличивают долю участников, исправляющих ошибку ИИ, с 20% до 42%, хотя большинство этого не делает. Склонность к интеллектуальным усилиям и подвижный интеллект защищают, в то время как высокое доверие к ИИ повышает уязвимость.
Автор приводит несколько рычагов проектирования: запрашивать собственный ответ перед показом ответа системы, делать неопределенность видимой, представлять элементы информации, а не вывод, и измерять степень капитуляции с помощью случаев, правильный ответ в которых известен.
Ограничения этих результатов признаны. Была протестирована только одна категория задач в лабораторных условиях, где ошибки ИИ известны. На работе никто не обязательно сообщит, что ответ был ошибочным. Что касается долгосрочных эффектов, их еще предстоит измерить: в обсервационном исследовании обнаружение аденом при колоноскопии без ИИ снизилось у эндоскопистов с 28,4% до 22,4% после внедрения ИИ в отделениях.
