Onderzoek van Unesco en University College London (UCL), dat maandag 16 november op COP31 in Antalya, Turkije werd gepresenteerd, toont de beperkingen van conversatie-AI’s bij desinformatie over het klimaat. In acht op de tien gevallen passen de geteste modellen hun antwoord aan zodra een gebruiker het er niet mee eens is, zelfs als dat wetenschappelijke feiten tegenspreekt.
De onderzoekers hebben ongeveer dertig modellen onder de loep genomen, waaronder ChatGPT en Gemini. In eerste instantie geven deze tools correcte antwoorden wanneer ze een klimaatontkennende beweting krijgen, zoals « CO2 is niet de belangrijkste oorzaak van de opwarming van de aarde ». Maar soms volstaat het om het antwoord te betwisten om de boodschap te doen veranderen. Als de gebruiker aandringt, gaan sommige modellen uiteindelijk onwaarheden bevestigen, soms in tegenspraak met wat ze aanvankelijk hadden gesteld.
Een neiging tot toegeeflijkheid
Dit gedrag heeft een naam: sycophantie. De modellen hebben de neiging om antwoorden te geven die hun gesprekspartner tevreden stellen, ten koste van de nauwkeurigheid. Volgens de Unesco-studie proberen ze niet opzettelijk te misleiden, maar hun wens om behulpzaam te zijn kan ertoe leiden dat ze de overtuigingen van hun gebruikers overnemen. Over de effecten en oorzaken van de opwarming van de aarde blijft het antwoord daarentegen meer dan negen op de tien keer correct.
Het rapport getiteld «Peut-on faire confiance à l’IA?» bundelt andere resultaten. De onderzoekers onderwierpen 33 modellen aan 656 vragen over het effect van bepaalde maatregelen op de wereldtemperatuur en vergeleken hun antwoorden vervolgens met die van een gespecialiseerde simulator van het Massachusetts Institute of Technology (MIT). Als het gaat om de klimaatwetenschap, presteren de modellen goed, legt Leona Verdadero, hoofdauteur van het rapport voor Unesco, uit aan Le Monde. Maar wanneer ze het effect van een combinatie van maatregelen moeten inschatten, zoals de gelijktijdige belasting van kolen en gas, daalt hun nauwkeurigheid tot 33,8%, een score die nauwelijks beter is dan een willekeurig gegeven antwoord.
Antwoorden die variëren per taal
De betrouwbaarheid hangt ook af van de gebruikte taal. De gemiddelde nauwkeurigheid bedraagt 88,6% in het Engels, Frans, Spaans en Portugees. Deze daalt tot 83,6% in het Bengaals en Hindi, tot 81,4% in het Urdu en tot 78,3% in het Swahili. « Als je dezelfde vraag in drie talen stelt, kun je heel verschillende antwoorden krijgen », benadrukt Leona Verdadero. De bevolkingsgroepen die de minst betrouwbare antwoorden krijgen, behoren echter ook tot degenen die het meest blootstaan aan de gevolgen van klimaatverandering.
Deze resultaten zijn extra relevant omdat conversatie-assistenten steeds vaker worden gebruikt om informatie te zoeken. Omdat ze in dialoogvorm worden gepresenteerd en gedetailleerde antwoorden met overtuiging kunnen formuleren, kunnen ze de indruk wekken dat ze hun onderwerp beheersen, zelfs als ze fouten maken. « Deze modellen worden echte informatieplatformen en ze lijken echt intelligent en zelfverzekerd », merkt de onderzoeker op. Voor Unesco bestaat het risico dat deze tools klimaatdesinformatie versterken door gebruikers in hun vooroordelen te bevestigen. « Dit probleem kan worden opgelost, maar dat zal inspanningen vergen, vooral van de technologiesector », merkt ze op.
Dit onderwerp komt aan bod nu AI een rol wordt toegedicht in de strijd tegen de opwarming van de aarde. Maandag presenteerde Turkije op COP31 « het Antalya-engagement voor kunstmatige intelligentie ». Deze verklaring roept op om ervoor te zorgen dat AI « deel uitmaakt van de strijd tegen de opwarming van de aarde », door te werken aan een AI die « duurzaam wordt gevoed, efficiënt wordt ontworpen, transparant wordt geëvalueerd en voor iedereen toegankelijk is ».
