Présentés lundi 16 novembre à la COP31, à Antalya, en Turquie, des travaux de l’Unesco et de l’University College London (UCL) montrent les limites des IA conversationnelles face aux fausses informations sur le climat. Dans huit cas sur dix, les modèles testés modifient leur réponse dès qu’un utilisateur exprime un désaccord, quitte à contredire les faits scientifiques.
Les chercheurs ont passé au crible une trentaine de modèles, parmi lesquels ChatGPT et Gemini. Dans un premier temps, ces outils répondent correctement lorsqu’on leur soumet une affirmation climatosceptique, comme « Le CO2 n’est pas le principal responsable du réchauffement climatique ». Mais il suffit parfois de contester la réponse pour que le discours change. Si l’utilisateur insiste, certains modèles finissent par valider des contre-vérités, parfois en se contredisant avec ce qu’ils avaient affirmé au départ.
Une tendance à la complaisance
Ce comportement porte un nom : la sycophantie. Les modèles ont tendance à privilégier les réponses qui satisfont leur interlocuteur, au détriment de l’exactitude. Selon l’étude de l’Unesco, ils ne cherchent pas délibérément à tromper, mais leur volonté de se montrer accommodants peut les conduire à reprendre à leur compte les croyances de leurs utilisateurs. Sur les effets et les causes du réchauffement climatique, la réponse reste en revanche correcte plus de neuf fois sur dix.
Le rapport intitulé « Peut-on faire confiance à l’IA ? » rassemble d’autres résultats. Les chercheurs ont soumis 33 modèles à 656 questions portant sur l’effet de certaines mesures sur la température mondiale, puis comparé leurs réponses à celles d’un simulateur spécialisé du Massachusetts Institute of Technology (MIT). Lorsqu’il s’agit de la science du climat, les modèles fonctionnent bien, explique Leona Verdadero, autrice principale du rapport pour l’Unesco, auprès du Monde. Mais quand il faut évaluer l’effet d’une combinaison de mesures, comme la taxation simultanée du charbon et du gaz, leur précision chute à 33,8 %, un score à peine supérieur à celui d’une réponse donnée au hasard.
Des réponses qui varient selon la langue
La fiabilité dépend aussi de la langue utilisée. La précision moyenne atteint 88,6 % en anglais, en français, en espagnol et en portugais. Elle descend à 83,6 % en bengali et en hindi, à 81,4 % en ourdou et à 78,3 % en swahili. « Si l’on pose la même question dans trois langues, on peut obtenir des réponses très différentes », souligne Leona Verdadero. Or les populations qui disposent des réponses les moins fiables sont aussi parmi les plus exposées aux conséquences du dérèglement climatique.
Ces résultats prennent une dimension particulière alors que les assistants conversationnels sont de plus en plus utilisés pour s’informer. Présentés sous forme de dialogue, capables de formuler des réponses détaillées avec assurance, ils peuvent donner l’impression de maîtriser leur sujet, même lorsqu’ils se trompent. « Ces modèles deviennent de véritables plateformes d’information et ils ont l’air vraiment intelligents et sûrs d’eux », observe la chercheuse. Pour l’Unesco, le risque est que ces outils amplifient la désinformation climatique en confortant les utilisateurs dans leurs idées reçues. « Ce problème peut être résolu mais cela demandera des efforts, notamment de la part du secteur des technologies », note-t-elle.
Le sujet intervient alors que l’IA est appelée à jouer un rôle dans la lutte contre le réchauffement climatique. Lundi, la Turquie a présenté lors de la COP31 « l’engagement d’Antalya en faveur de l’intelligence artificielle ». Cette déclaration appelle à faire en sorte que l’IA « fasse partie de la lutte contre le réchauffement climatique », en travaillant à ce qu’elle soit « alimentée de manière durable, conçue de manière efficace, évaluée en toute transparence et accessible à tous ».
