Investigadores da Wharton School deram um nome a um fenómeno que muitos observam: a « reddition cognitive », ou « rendição cognitiva ». Numa experiência, os participantes seguiam um assistente de IA quase tanto quando ele errava como quando acertava.
O estudo de Steven Shaw e Gideon Nave baseia-se em três experiências pré-gravadas, seguidas de uma síntese com 1 372 participantes e cerca de 9 600 tentativas. Os participantes tinham de responder a problemas do teste de reflexão cognitiva, que exigem uma resposta intuitiva errada e uma resposta ponderada correta. Tinham à disposição um assistente ChatGPT. O que ignoravam era que, consoante as tentativas, instruções ocultas o levavam a dar ou a resposta certa, ou o erro intuitivo, acompanhado de uma breve justificação.
Uma confiança que já não discrimina
Os participantes consultavam o assistente um pouco mais de uma vez em cada duas. Seguiam a sua resposta em 92,7% dos casos quando estava certa, e em 79,8% dos casos quando estava errada. A taxa de respostas corretas passou de 45,8% sem IA para 71,0% com uma IA correta, e depois caiu para 31,5% com uma IA errada. A confiança dos participantes assistidos superou em quase 12 pontos a dos participantes sozinhos, apesar de metade das respostas recebidas estarem erradas.
Segundo o autor da crónica, o número que deveria alertar é a diferença entre 92,7% e 79,8%, que continua a ser pequena. Seguir um conselheiro mais fiável do que nós é racional. O problema reside no ajuste da confiança: uma confiança útil sobe quando a ferramenta acerta e desce quando erra.
Os autores propõem acrescentar um « Sistema 3 », a cognição artificial, aos dois sistemas popularizados por Kahneman, a intuição rápida e a deliberação lenta. Distinguem também o descarregamento cognitivo, que consiste em confiar uma tarefa a uma ferramenta mantendo o controlo sobre o raciocínio, da reddition cognitive, que consiste em adotar a resposta do sistema sem exame.
Um fenómeno já conhecido na medicina
A medicina descreve há muito este mecanismo como viés de automação, a tendência para confiar num sistema automatizado em detrimento do próprio julgamento. Uma revisão sistemática de 2012 enumerou os fatores agravantes: a carga de trabalho, a complexidade da tarefa, a pressão do tempo e a confiança no sistema.
Numa experiência publicada na Radiology, vinte e sete radiologistas analisaram mamografias com a ajuda de uma suposta IA, que por vezes propunha uma classificação errada. Quando a sugestão era falsa, a proporção de análises corretas caía em todos: de quase 80% para cerca de 20% nos menos experientes, de 82% para 45,5% nos mais experientes. A experiência protege, mas não basta.
Segundo o autor, o que muda com os grandes modelos de linguagem não é o mecanismo, mas o seu poder. Um assistente conversacional fornece uma resposta redigida e justificada sobre qualquer assunto, e a psicologia cognitiva associa há muito a facilidade de processamento à sensação de verdade.
O que protege, e o que falta
O tempo agrava claramente a rendição. Incentivos financeiros, combinados com um retorno imediato sobre o erro, aumentam de 20% para 42% a proporção de participantes que corrigem uma IA errónea, sem que a maioria o faça. O gosto pelo esforço intelectual e a inteligência fluida protegem, enquanto uma confiança elevada na IA expõe.
O autor cita várias alavancas de conceção: pedir a própria resposta antes de mostrar a do sistema, tornar a incerteza legível, apresentar elementos de informação em vez de uma conclusão, e medir a rendição através de casos cuja resposta correta é conhecida.
Os limites destes resultados são reconhecidos. Apenas uma família de problemas foi testada, em condições de laboratório, onde os erros da IA são conhecidos. No trabalho, ninguém indica necessariamente que uma resposta estava errada. Quanto aos efeitos duradouros, estes ainda estão por medir: num estudo observacional, a deteção de adenomas em colonoscopia sem IA diminuiu, em endoscopistas, de 28,4% para 22,4% após a introdução da IA nos serviços.
