Des chercheurs de la Wharton School ont donné un nom à un phénomène que beaucoup observent : la « reddition cognitive », ou « cognitive surrender ». Dans une expérience, les participants suivaient un assistant d’IA presque autant lorsqu’il se trompait que lorsqu’il avait raison.
- Les participants suivent l’IA presque aussi souvent quand elle se trompe que quand elle a raison.
- Leur confiance ne s’ajuste plus à la fiabilité de l’outil.
- La médecine connaît ce mécanisme depuis longtemps, sous le nom de biais d’automatisation.
- Le temps et la confiance aggravent cette reddition, tandis que l’effort intellectuel la limite.
L’étude de Steven Shaw et Gideon Nave repose sur trois expériences préenregistrées, puis une synthèse portant sur 1 372 participants et près de 9 600 essais. Les participants devaient répondre à des problèmes du test de réflexion cognitive, qui appellent une réponse intuitive fausse et une réponse réfléchie juste. Un assistant ChatGPT était à leur disposition. Ce qu’ils ignoraient, c’est que, selon les essais, des instructions cachées le faisaient donner soit la bonne réponse, soit l’erreur intuitive, accompagnée d’une courte justification.
Une confiance qui ne discrimine plus
Les participants consultaient l’assistant un peu plus d’une fois sur deux. Ils suivaient sa réponse dans 92,7 % des cas lorsqu’elle était juste, et dans 79,8 % des cas lorsqu’elle était fausse. Le taux de bonnes réponses passait de 45,8 % sans IA à 71,0 % avec une IA juste, puis tombait à 31,5 % avec une IA fausse. La confiance des participants assistés dépassait de près de 12 points celle des participants seuls, alors que la moitié des réponses reçues étaient erronées.
Selon l’auteur de la chronique, le chiffre qui devrait alerter est l’écart entre 92,7 % et 79,8 %, qui reste faible. Suivre un conseiller plus fiable que soi est rationnel. Le problème tient à l’ajustement de la confiance : une confiance utile monte quand l’outil a raison et baisse quand il se trompe.
Les auteurs proposent d’ajouter un « Système 3 », la cognition artificielle, aux deux systèmes popularisés par Kahneman, l’intuition rapide et la délibération lente. Ils distinguent aussi le délestage cognitif, qui consiste à confier une tâche à un outil tout en gardant la main sur le raisonnement, de la reddition cognitive, qui consiste à adopter la réponse du système sans examen.
Un phénomène déjà connu en médecine
La médecine décrit depuis longtemps ce mécanisme sous le nom de biais d’automatisation, la tendance à s’en remettre à un système automatisé au détriment de son propre jugement. Une revue systématique de 2012 en recensait les facteurs aggravants : la charge de travail, la complexité de la tâche, la contrainte de temps et la confiance dans le système.
Dans une expérience publiée dans Radiology, vingt-sept radiologues lisaient des mammographies avec l’aide d’une prétendue IA, qui proposait parfois une classification erronée. Lorsque la suggestion était fausse, la proportion de lectures correctes chutait chez tous : de près de 80 % à environ 20 % chez les moins expérimentés, de 82 % à 45,5 % chez les plus expérimentés. L’expertise protège, mais elle ne suffit pas.
Selon l’auteur, ce qui change avec les grands modèles de langage n’est pas le mécanisme mais sa puissance. Un assistant conversationnel livre une réponse rédigée et justifiée sur n’importe quel sujet, or la psychologie cognitive associe depuis longtemps la facilité de traitement au sentiment de vérité.
Ce qui protège, et ce qui manque
Le temps aggrave nettement la reddition. Des incitations financières, combinées à un retour immédiat sur l’erreur, font passer de 20 % à 42 % la proportion de participants qui corrigent une IA fautive, sans que la majorité ne le fasse. Le goût pour l’effort intellectuel et l’intelligence fluide protègent, tandis qu’une confiance élevée dans l’IA expose.
L’auteur cite plusieurs leviers de conception : demander sa propre réponse avant d’afficher celle du système, rendre l’incertitude lisible, présenter des éléments d’information plutôt qu’une conclusion, et mesurer la reddition à l’aide de cas dont la bonne réponse est connue.
Les limites de ces résultats sont reconnues. Une seule famille de problèmes a été testée, dans des conditions de laboratoire, où les erreurs de l’IA sont connues. Au travail, personne ne signale nécessairement qu’une réponse était erronée. Quant aux effets durables, ils restent à mesurer : dans une étude observationnelle, la détection des adénomes en coloscopie sans IA a baissé, chez des endoscopistes, de 28,4 % à 22,4 % après l’introduction de l’IA dans les services.
