Dei ricercatori della Wharton School hanno dato un nome a un fenomeno che molti osservano: la « reddizione cognitiva », o « cognitive surrender ». In un esperimento, i partecipanti seguivano un assistente di IA quasi tanto quando sbagliava quanto quando aveva ragione.
- I ricercatori della Wharton School descrivono la reddizione cognitiva : le persone seguono l’IA anche quando sbaglia.
- Nell’esperimento, i partecipanti accettavano la risposta errata dell’IA nel 79,8% dei casi.
- La fiducia non distingue più tra risposte giuste e sbagliate, e il fenomeno è già noto in medicina.
- Per limitarlo, conviene chiedere prima la risposta dell’utente e rendere visibile l’incertezza dell’IA.
Lo studio di Steven Shaw e Gideon Nave si basa su tre esperimenti preregistrati, poi una sintesi che coinvolge 1.372 partecipanti e quasi 9.600 prove. I partecipanti dovevano rispondere a problemi del test di riflessione cognitiva, che richiedono una risposta intuitiva falsa e una risposta riflessiva giusta. Era a loro disposizione un assistente ChatGPT. Quel che ignoravano è che, a seconda delle prove, delle istruzioni nascoste lo inducevano a dare sia la risposta corretta, sia l’errore intuitivo, accompagnato da una breve giustificazione.
Una fiducia che non discrimina più
I partecipanti consultavano l’assistente poco più di una volta su due. Ne seguivano la risposta nel 92,7% dei casi quando era giusta, e nel 79,8% dei casi quando era falsa. Il tasso di risposte corrette passava dal 45,8% senza IA al 71,0% con un’IA corretta, per poi scendere al 31,5% con un’IA falsa. La fiducia dei partecipanti assistiti superava di quasi 12 punti quella dei partecipanti soli, mentre la metà delle risposte ricevute erano errate.
Secondo l’autore della cronaca, la cifra che dovrebbe allertare è lo scarto tra il 92,7% e il 79,8%, che rimane basso. Seguire un consulente più affidabile di sé è razionale. Il problema risiede nell’adeguamento della fiducia: una fiducia utile sale quando lo strumento ha ragione e scende quando sbaglia.
Gli autori propongono di aggiungere un « Sistema 3 », la cognizione artificiale, ai due sistemi resi popolari da Kahneman, l’intuizione rapida e la deliberazione lenta. Distinguono anche lo scarico cognitivo, che consiste nel affidare un compito a uno strumento mantenendo il controllo sul ragionamento, dalla reddizione cognitiva, che consiste nell’adottare la risposta del sistema senza esame.
Un fenomeno già noto in medicina
La medicina descrive da tempo questo meccanismo con il nome di bias di automazione, la tendenza a affidarsi a un sistema automatizzato a scapito del proprio giudizio. Una revisione sistematica del 2012 ne elencava i fattori aggravanti: il carico di lavoro, la complessità del compito, il vincolo di tempo e la fiducia nel sistema.
In un esperimento pubblicato su Radiology, ventisette radiologi leggevano mammografie con l’aiuto di una presunta IA, che a volte proponeva una classificazione errata. Quando il suggerimento era falso, la proporzione di letture corrette calava per tutti: da quasi l’80% a circa il 20% nei meno esperti, dall’82% al 45,5% nei più esperti. L’esperienza protegge, ma non basta.
Secondo l’autore, ciò che cambia con i grandi modelli linguistici non è il meccanismo ma la sua potenza. Un assistente conversazionale fornisce una risposta redatta e giustificata su qualsiasi argomento, eppure la psicologia cognitiva associa da tempo la facilità di elaborazione al sentimento di verità.
Ciò che protegge, e ciò che manca
Il tempo aggrava nettamente la reddizione. Incentivi finanziari, combinati a un feedback immediato sull’errore, fanno passare dal 20% al 42% la proporzione di partecipanti che correggono un’IA errata, senza che la maggioranza lo faccia. Il gusto per lo sforzo intellettuale e l’intelligenza fluida proteggono, mentre un’elevata fiducia nell’IA espone.
L’autore cita diversi leve di progettazione: chiedere la propria risposta prima di mostrare quella del sistema, rendere leggibile l’incertezza, presentare elementi informativi piuttosto che una conclusione, e misurare la reddizione usando casi di cui si conosce la risposta corretta.
I limiti di questi risultati sono riconosciuti. È stata testata una sola famiglia di problemi, in condizioni di laboratorio, dove gli errori dell’IA sono noti. Sul lavoro, nessuno segnala necessariamente che una risposta era errata. Quanto agli effetti duraturi, restano da misurare: in uno studio osservazionale, il rilevamento di adenomi in colonscopia senza IA è calato, tra gli endoscopisti, dal 28,4% al 22,4% dopo l’introduzione dell’IA nei reparti.
