Naukowcy z Wharton School nadali nazwę zjawisku, które wielu obserwuje: « reddition cognitive », czyli « kapitulacja poznawcza ». W eksperymencie uczestnicy podążali za asystentem AI niemal tak samo często, gdy się mylił, jak i gdy miał rację.
Badanie Stevena Shawa i Gideona Nave opiera się na trzech wcześniej zarejestrowanych eksperymentach, a następnie na podsumowaniu obejmującym 1372 uczestników i prawie 9600 prób. Uczestnicy musieli odpowiadać na problemy z testu refleksji poznawczej, które sugerują błędną odpowiedź intuicyjną i poprawną odpowiedź przemyślaną. Do ich dyspozycji był asystent ChatGPT. Nie wiedzieli, że w zależności od próby, ukryte instrukcje powodowały, że podawał on albo poprawną odpowiedź, albo błąd intuicyjny, wraz z krótkim uzasadnieniem.
Zaufanie, które już nie rozróżnia
Uczestnicy konsultowali się z asystentem nieco częściej niż raz na dwa razy. Podążali za jego odpowiedzią w 92,7% przypadków, gdy była poprawna, i w 79,8% przypadków, gdy była błędna. Wskaźnik poprawnych odpowiedzi wzrastał z 45,8% bez AI do 71,0% z poprawną AI, a następnie spadał do 31,5% z błędną AI. Zaufanie uczestników wspomaganych przewyższało o prawie 12 punktów zaufanie uczestników samodzielnych, mimo że połowa otrzymanych odpowiedzi była błędna.
Zdaniem autora artykułu, liczbą, która powinna niepokoić, jest różnica między 92,7% a 79,8%, która pozostaje niewielka. Podążanie za doradcą bardziej niezawodnym niż my sami jest racjonalne. Problem polega na dostosowaniu poziomu zaufania: użyteczne zaufanie rośnie, gdy narzędzie ma rację, i spada, gdy się myli.
Autorzy proponują dodanie « Systemu 3 », czyli sztucznej inteligencji poznawczej, do dwóch systemów spopularyzowanych przez Kahnemana: szybkiej intuicji i powolnej deliberacji. Wyróżniają także odciążenie poznawcze, które polega na powierzeniu zadania narzędziu przy zachowaniu kontroli nad rozumowaniem, oraz reddition cognitive, czyli przyjęcie odpowiedzi systemu bez jej sprawdzenia.
Zjawisko znane już w medycynie
Medycyna od dawna opisuje ten mechanizm jako błąd automatyzacji, czyli tendencję do polegania na zautomatyzowanym systemie kosztem własnego osądu. Przegląd systematyczny z 2012 roku wymieniał czynniki zaostrzające: obciążenie pracą, złożoność zadania, presję czasu i zaufanie do systemu.
W eksperymencie opublikowanym w Radiology dwudziestu siedmiu radiologów odczytywało mammografie z pomocą rzekomej AI, która czasami proponowała błędną klasyfikację. Gdy sugestia była błędna, odsetek poprawnych odczytów spadał u wszystkich: z blisko 80% do około 20% u mniej doświadczonych, z 82% do 45,5% u najbardziej doświadczonych. Ekspertyza chroni, ale nie wystarcza.
Zdaniem autora, to, co zmienia się wraz z dużymi modelami językowymi, to nie mechanizm, ale jego siła. Asystent konwersacyjny dostarcza sformułowaną i uzasadnioną odpowiedź na dowolny temat, a psychologia poznawcza od dawna łączy łatwość przetwarzania z poczuciem prawdy.
Co chroni, a czego brakuje
Czas wyraźnie pogarsza reddition. Zachęty finansowe, połączone z natychmiastową informacją zwrotną o błędzie, zwiększają odsetek uczestników poprawiających błędną AI z 20% do 42%, choć większość tego nie robi. Zamiłowanie do wysiłku intelektualnego i inteligencja płynna chronią, podczas gdy wysokie zaufanie do AI naraża.
Autor wymienia kilka dźwigni projektowych: poproszenie o własną odpowiedź przed pokazaniem odpowiedzi systemu, uczytelnienie niepewności, prezentowanie elementów informacji zamiast wniosku oraz mierzenie reddition za pomocą przypadków, których poprawna odpowiedź jest znana.
Ograniczenia tych wyników są uznawane. Przetestowano tylko jedną rodzinę problemów, w warunkach laboratoryjnych, gdzie błędy AI są znane. W pracy nikt niekoniecznie sygnalizuje, że odpowiedź była błędna. Jeśli chodzi o efekty długoterminowe, pozostają one do zmierzenia: w badaniu obserwacyjnym wykrywanie gruczolaków w kolonoskopii bez AI spadło u endoskopistów z 28,4% do 22,4% po wprowadzeniu AI na oddziałach.
