Onderzoekers van de Wharton School hebben een naam gegeven aan een fenomeen dat velen waarnemen: de « cognitieve overgave », of « cognitive surrender ». In een experiment volgden deelnemers een AI-assistent bijna even vaak wanneer hij fout zat als wanneer hij gelijk had.
- Deelnemers volgden een AI-assistent bijna even vaak bij fouten als bij juiste antwoorden.
- Hun vertrouwen past zich niet aan wanneer het systeem fout zit.
- Ook ervaren radiologen laten zich door foutieve AI-suggesties misleiden.
- Financiële prikkels en directe feedback helpen, maar beschermen niet volledig tegen overgave.
De studie van Steven Shaw en Gideon Nave is gebaseerd op drie vooraf opgenomen experimenten, gevolgd door een synthese met 1.372 deelnemers en bijna 9.600 pogingen. De deelnemers moesten vragen beantwoorden uit de cognitieve reflectietest, die een intuïtief fout antwoord en een doordacht juist antwoord uitlokken. Een ChatGPT-assistent stond tot hun beschikking. Wat ze niet wisten, was dat verborgen instructies hem, afhankelijk van de poging, ofwel het juiste antwoord, ofwel de intuïtieve fout lieten geven, vergezeld van een korte rechtvaardiging.
Een vertrouwen dat niet meer onderscheidt
De deelnemers raadpleegden de assistent iets meer dan de helft van de keren. Ze volgden zijn antwoord in 92,7% van de gevallen wanneer het juist was, en in 79,8% van de gevallen wanneer het fout was. Het percentage goede antwoorden steeg van 45,8% zonder AI naar 71,0% met een juiste AI, en daalde vervolgens tot 31,5% met een foutieve AI. Het vertrouwen van de geassisteerde deelnemers lag bijna 12 punten hoger dan dat van de alleenwerkende deelnemers, terwijl de helft van de ontvangen antwoorden fout was.
Volgens de auteur van het artikel is het cijfer dat alarm zou moeten slaan het verschil tussen 92,7% en 79,8%, dat klein blijft. Een adviseur volgen die betrouwbaarder is dan jijzelf is rationeel. Het probleem zit in de aanpassing van het vertrouwen: nuttig vertrouwen stijgt wanneer het instrument gelijk heeft en daalt wanneer het fout zit.
De auteurs stellen voor om een « Systeem 3 », de kunstmatige cognitie, toe te voegen aan de twee door Kahneman gepopulariseerde systemen: de snelle intuïtie en de langzame deliberatie. Ze onderscheiden ook cognitieve offloading, waarbij een taak aan een instrument wordt toevertrouwd terwijl de redenering onder controle blijft, van cognitieve overgave, waarbij het antwoord van het systeem zonder onderzoek wordt overgenomen.
Een fenomeen dat in de geneeskunde al bekend is
De geneeskunde beschrijft dit mechanisme al lang onder de naam automatisering bias, de neiging om zich te verlaten op een geautomatiseerd systeem ten koste van het eigen oordeel. Een systematische review uit 2012 inventariseerde de verergerende factoren: de werklast, de complexiteit van de taak, de tijdsdruk en het vertrouwen in het systeem.
In een experiment gepubliceerd in Radiology lazen zevenentwintig radiologen mammogrammen met behulp van een zogenaamde AI, die soms een foute classificatie voorstelde. Wanneer de suggestie fout was, daalde het aandeel correcte interpretaties bij iedereen: van bijna 80% naar ongeveer 20% bij de minst ervarenen, van 82% naar 45,5% bij de meest ervarenen. Expertise beschermt, maar het is niet genoeg.
Volgens de auteur is wat verandert met grote taalmodellen niet het mechanisme maar de kracht ervan. Een conversationele assistent levert een uitgewerkt en gerechtvaardigd antwoord over elk onderwerp, en de cognitieve psychologie associeert al lang de verwerkingsgemak met het gevoel van waarheid.
Wat beschermt, en wat ontbreekt
Tijd verergert de overgave duidelijk. Financiële prikkels, gecombineerd met onmiddellijke feedback over de fout, verhogen het aandeel deelnemers dat een foutieve AI corrigeert van 20% naar 42%, zonder dat de meerderheid dit doet. Een voorkeur voor intellectuele inspanning en vloeiende intelligentie beschermen, terwijl een hoog vertrouwen in AI kwetsbaar maakt.
De auteur citeert verschillende ontwerphefbomen: eerst het eigen antwoord vragen voordat dat van het systeem wordt getoond, de onzekerheid leesbaar maken, informatie-elementen presenteren in plaats van een conclusie, en de overgave meten met behulp van gevallen waarvan het juiste antwoord bekend is.
De beperkingen van deze resultaten worden erkend. Slechts één familie van problemen is getest, onder laboratoriumomstandigheden, waar de fouten van de AI bekend zijn. Op het werk geeft niemand noodzakelijkerwijs aan dat een antwoord fout was. Wat de langdurige effecten betreft, die moeten nog worden gemeten: in een observationele studie daalde de detectie van adenomen bij colonoscopie zonder AI bij endoscopisten van 28,4% naar 22,4% na de introductie van AI in de afdelingen.
