Forscher der Wharton School haben einem Phänomen, das viele beobachten, einen Namen gegeben: die « kognitive Kapitulation » oder « cognitive surrender ». In einem Experiment folgten die Teilnehmer einem KI-Assistenten fast genauso oft, wenn er falsch lag, wie wenn er recht hatte.
- Teilnehmer übernahmen die Antworten einer KI fast genauso oft, wenn sie falsch waren.
- Bei falscher KI sank die richtige Antwortquote von 45,8 % auf 31,5 %.
- Auch erfahrene Radiologen ließen sich von fehlerhaften KI-Vorschlägen beeinflussen.
- Eigene Antworten vorab abzufragen und Unsicherheit sichtbar zu machen, kann schützen.
Die Studie von Steven Shaw und Gideon Nave basiert auf drei vorab aufgezeichneten Experimenten und einer anschließenden Synthese mit 1.372 Teilnehmern und fast 9.600 Versuchen. Die Teilnehmer mussten Probleme aus dem kognitiven Reflexionstest lösen, die eine intuitive, aber falsche Antwort und eine reflektierte, richtige Antwort nahelegen. Ein ChatGPT-Assistent stand ihnen zur Verfügung. Was sie nicht wussten, war, dass je nach Versuch versteckte Anweisungen ihn entweder die richtige Antwort oder den intuitiven Fehler geben ließen, begleitet von einer kurzen Begründung.
Ein Vertrauen, das nicht mehr unterscheidet
Die Teilnehmer konsultierten den Assistenten etwas mehr als bei jedem zweiten Versuch. Sie folgten seiner Antwort in 92,7 % der Fälle, wenn sie richtig war, und in 79,8 % der Fälle, wenn sie falsch war. Die Quote der richtigen Antworten stieg von 45,8 % ohne KI auf 71,0 % mit einer korrekten KI und sank dann auf 31,5 % mit einer falschen KI. Das Vertrauen der unterstützten Teilnehmer lag fast 12 Prozentpunkte über dem der allein arbeitenden Teilnehmer, obwohl die Hälfte der erhaltenen Antworten falsch war.
Laut dem Autor des Kommentars ist die Zahl, die alarmieren sollte, die Differenz zwischen 92,7 % und 79,8 %, die gering bleibt. Einem Berater zu folgen, der zuverlässiger ist als man selbst, ist rational. Das Problem liegt in der Anpassung des Vertrauens: Nützliches Vertrauen steigt, wenn das Werkzeug recht hat, und sinkt, wenn es sich irrt.
Die Autoren schlagen vor, ein « System 3 », die künstliche Kognition, zu den beiden von Kahneman populär gemachten Systemen hinzuzufügen: der schnellen Intuition und der langsamen Überlegung. Sie unterscheiden auch die kognitive Entlastung, bei der eine Aufgabe an ein Werkzeug delegiert wird, während die Kontrolle über die Argumentation behalten wird, von der kognitiven Kapitulation, bei der die Antwort des Systems ohne Prüfung übernommen wird.
Ein in der Medizin bereits bekanntes Phänomen
Die Medizin beschreibt diesen Mechanismus seit langem als Automatisierungsverzerrung, die Tendenz, sich auf ein automatisiertes System zu verlassen, zum Nachteil des eigenen Urteils. Eine systematische Übersichtsarbeit aus dem Jahr 2012 listete die verstärkenden Faktoren auf: Arbeitsbelastung, Komplexität der Aufgabe, Zeitdruck und Vertrauen in das System.
In einem in Radiology veröffentlichten Experiment lasen siebenundzwanzig Radiologen Mammographien mit Hilfe einer vermeintlichen KI, die manchmal eine falsche Klassifizierung vorschlug. Wenn der Vorschlag falsch war, sank der Anteil korrekter Befunde bei allen: von fast 80 % auf etwa 20 % bei den weniger Erfahrenen, von 82 % auf 45,5 % bei den Erfahrensten. Expertise schützt, aber sie reicht nicht aus.
Laut dem Autor ändert sich mit den großen Sprachmodellen nicht der Mechanismus, sondern seine Wirkungsmacht. Ein konversationeller Assistent liefert eine formulierte und begründete Antwort zu jedem Thema, und die kognitive Psychologie verbindet seit langem die Verarbeitungsleichtigkeit mit dem Gefühl der Wahrheit.
Was schützt und was fehlt
Zeitdruck verschlimmert die Kapitulation deutlich. Finanzielle Anreize, kombiniert mit einer sofortigen Rückmeldung über den Fehler, erhöhten den Anteil der Teilnehmer, die eine fehlerhafte KI korrigierten, von 20 % auf 42 %, ohne dass die Mehrheit dies tat. Die Freude an intellektueller Anstrengung und flüssige Intelligenz schützen, während ein hohes Vertrauen in die KI anfällig macht.
Der Autor nennt mehrere Gestaltungshebel: die eigene Antwort abzufragen, bevor die des Systems angezeigt wird, Unsicherheit lesbar zu machen, Informationselemente statt einer Schlussfolgerung zu präsentieren und die Kapitulation anhand von Fällen mit bekannter richtiger Antwort zu messen.
Die Grenzen dieser Ergebnisse werden anerkannt. Es wurde nur eine Problemfamilie getestet, unter Laborbedingungen, wo die KI-Fehler bekannt sind. Bei der Arbeit meldet niemand notwendigerweise, dass eine Antwort falsch war. Was die langfristigen Auswirkungen betrifft, müssen sie noch gemessen werden: In einer Beobachtungsstudie sank die Adenom-Detektion bei der Koloskopie ohne KI bei Endoskopikern von 28,4 % auf 22,4 % nach der Einführung der KI in den Abteilungen.
