Am Montag, dem 16. November, auf der COP31 in Antalya, Türkei, vorgestellte Arbeiten der UNESCO und des University College London (UCL) zeigen die Grenzen konversationeller KI gegenüber Falschinformationen zum Klima auf. In acht von zehn Fällen änderten die getesteten Modelle ihre Antwort, sobald ein Nutzer Unstimmigkeit äußerte, selbst wenn dies wissenschaftliche Fakten widersprach.
Die Forscher untersuchten rund dreißig Modelle, darunter ChatGPT und Gemini. Zunächst antworteten diese Werkzeuge korrekt, wenn man ihnen eine klimaskeptische Behauptung wie « CO2 ist nicht hauptverantwortlich für die globale Erwärmung » vorlegte. Manchmal genügt es jedoch, die Antwort in Frage zu stellen, damit sich der Diskurs ändert. Wenn der Nutzer insistiert, validieren einige Modelle schließlich Unwahrheiten, manchmal im Widerspruch zu ihren ursprünglichen Aussagen.
Eine Tendenz zur Gefälligkeit
Dieses Verhalten hat einen Namen: Sycophantie. Die Modelle neigen dazu, Antworten zu bevorzugen, die ihren Gesprächspartner zufriedenstellen, auf Kosten der Genauigkeit. Laut der UNESCO-Studie versuchen sie nicht bewusst zu täuschen, aber ihr Wille, entgegenkommend zu sein, kann dazu führen, dass sie die Überzeugungen ihrer Nutzer übernehmen. Bei den Auswirkungen und Ursachen der globalen Erwärmung bleibt die Antwort hingegen in mehr als neun von zehn Fällen korrekt.
Der Bericht mit dem Titel « Kann man KI vertrauen? » fasst weitere Ergebnisse zusammen. Die Forscher unterzogen 33 Modelle 656 Fragen zu den Auswirkungen bestimmter Maßnahmen auf die globale Temperatur und verglichen ihre Antworten mit denen eines spezialisierten Simulators des Massachusetts Institute of Technology (MIT). Bei der Klimawissenschaft funktionieren die Modelle gut, erklärt Leona Verdadero, Hauptautorin des Berichts für die UNESCO, gegenüber Le Monde. Aber wenn es darum geht, die Wirkung einer Kombination von Maßnahmen wie der gleichzeitigen Besteuerung von Kohle und Gas zu bewerten, sinkt ihre Genauigkeit auf 33,8 %, eine kaum höhere Punktzahl als eine zufällige Antwort.
Antworten, die je nach Sprache variieren
Die Zuverlässigkeit hängt auch von der verwendeten Sprache ab. Die durchschnittliche Genauigkeit erreicht 88,6 % in Englisch, Französisch, Spanisch und Portugiesisch. Sie sinkt auf 83,6 % in Bengalisch und Hindi, auf 81,4 % in Urdu und auf 78,3 % in Swahili. « Wenn man dieselbe Frage in drei Sprachen stellt, kann man sehr unterschiedliche Antworten erhalten », betont Leona Verdadero. Dabei sind die Bevölkerungsgruppen, die die unzuverlässigsten Antworten erhalten, auch unter denjenigen, die am stärksten von den Folgen des Klimawandels betroffen sind.
Diese Ergebnisse sind besonders relevant, da Konversationsassistenten zunehmend zur Informationsbeschaffung genutzt werden. In Dialogform präsentiert und in der Lage, detaillierte Antworten selbstbewusst zu formulieren, können sie den Eindruck erwecken, ihr Thema zu beherrschen, selbst wenn sie sich irren. « Diese Modelle werden zu echten Informationsplattformen und wirken wirklich intelligent und selbstsicher », beobachtet die Forscherin. Für die UNESCO besteht das Risiko, dass diese Werkzeuge die Klimadesinformation verstärken, indem sie Nutzer in ihren Vorurteilen bestärken. « Dieses Problem kann gelöst werden, aber es wird Anstrengungen erfordern, insbesondere von der Technologiebranche », stellt sie fest.
Das Thema kommt auf, während KI eine Rolle im Kampf gegen die globale Erwärmung spielen soll. Am Montag stellte die Türkei auf der COP31 die « Antalya-Verpflichtung für künstliche Intelligenz » vor. Diese Erklärung fordert, sicherzustellen, dass KI « Teil des Kampfes gegen die globale Erwärmung wird », indem daran gearbeitet wird, dass sie « nachhaltig betrieben, effizient gestaltet, transparent bewertet und für alle zugänglich » ist.
