Investigadores de la Wharton School han dado nombre a un fenómeno que muchos observan: la « redención cognitiva », o « cognitive surrender ». En un experimento, los participantes seguían a un asistente de IA casi tanto cuando se equivocaba como cuando acertaba.
- Los participantes siguieron a la IA en el 79,8 % de los casos cuando su respuesta era falsa.
- Su confianza ya no distingue entre respuestas correctas e incorrectas.
- La medicina muestra el mismo sesgo : la experiencia reduce el riesgo, pero no lo elimina.
- Presentar la incertidumbre y pedir una respuesta propia previa ayuda a frenar la redención cognitiva.
El estudio de Steven Shaw y Gideon Nave se basa en tres experimentos pregrabados, y luego en una síntesis que abarca a 1.372 participantes y cerca de 9.600 ensayos. Los participantes debían responder a problemas de la prueba de reflexión cognitiva, que plantean una respuesta intuitiva falsa y una respuesta reflexiva correcta. Tenían a su disposición un asistente ChatGPT. Lo que ignoraban es que, según los ensayos, unas instrucciones ocultas lo hacían dar o bien la respuesta correcta, o bien el error intuitivo, acompañado de una breve justificación.
Una confianza que ya no discrimina
Los participantes consultaban al asistente un poco más de una vez de cada dos. Seguían su respuesta en el 92,7 % de los casos cuando era correcta, y en el 79,8 % de los casos cuando era falsa. La tasa de respuestas correctas pasaba del 45,8 % sin IA al 71,0 % con una IA correcta, y luego caía al 31,5 % con una IA falsa. La confianza de los participantes asistidos superaba en casi 12 puntos la de los participantes solos, a pesar de que la mitad de las respuestas recibidas eran erróneas.
Según el autor de la crónica, la cifra que debería alertar es la diferencia entre el 92,7 % y el 79,8 %, que sigue siendo pequeña. Seguir a un asesor más fiable que uno mismo es racional. El problema radica en el ajuste de la confianza: una confianza útil aumenta cuando la herramienta acierta y disminuye cuando se equivoca.
Los autores proponen añadir un « Sistema 3 », la cognición artificial, a los dos sistemas popularizados por Kahneman, la intuición rápida y la deliberación lenta. También distinguen el descargo cognitivo, que consiste en confiar una tarea a una herramienta manteniendo el control del razonamiento, de la redención cognitiva, que consiste en adoptar la respuesta del sistema sin examinarla.
Un fenómeno ya conocido en medicina
La medicina describe desde hace tiempo este mecanismo con el nombre de sesgo de automatización, la tendencia a confiar en un sistema automatizado en detrimento del propio juicio. Una revisión sistemática de 2012 enumeraba sus factores agravantes: la carga de trabajo, la complejidad de la tarea, la limitación de tiempo y la confianza en el sistema.
En un experimento publicado en Radiology, veintisiete radiólogos leían mamografías con la ayuda de una supuesta IA, que a veces proponía una clasificación errónea. Cuando la sugerencia era falsa, la proporción de lecturas correctas caía en todos: de cerca del 80 % a aproximadamente el 20 % en los menos experimentados, del 82 % al 45,5 % en los más experimentados. La experiencia protege, pero no basta.
Según el autor, lo que cambia con los grandes modelos de lenguaje no es el mecanismo sino su potencia. Un asistente conversacional ofrece una respuesta redactada y justificada sobre cualquier tema, y la psicología cognitiva asocia desde hace tiempo la facilidad de procesamiento con la sensación de verdad.
Lo que protege, y lo que falta
El tiempo agrava notablemente la redención. Los incentivos financieros, combinados con una retroalimentación inmediata sobre el error, hacen que la proporción de participantes que corrigen a una IA errónea pase del 20 % al 42 %, sin que la mayoría lo haga. El gusto por el esfuerzo intelectual y la inteligencia fluida protegen, mientras que una confianza elevada en la IA expone.
El autor cita varias palancas de diseño: pedir la propia respuesta antes de mostrar la del sistema, hacer legible la incertidumbre, presentar elementos de información en lugar de una conclusión, y medir la redención mediante casos cuya respuesta correcta es conocida.
Se reconocen los límites de estos resultados. Solo se ha probado una familia de problemas, en condiciones de laboratorio, donde los errores de la IA son conocidos. En el trabajo, nadie señala necesariamente que una respuesta era errónea. En cuanto a los efectos duraderos, aún quedan por medir: en un estudio observacional, la detección de adenomas en colonoscopia sin IA bajó, entre endoscopistas, del 28,4 % al 22,4 % tras la introducción de la IA en los servicios.
