Badacz nauk kognitywnych Gary Marcus wygłosił improwizowaną przemowę podczas prywatnego spotkania poprzedzającego audiencję u papieża Leona XIV. Zadeklarował tam swoje uznanie dla encykliki o sztucznej inteligencji, Magnifica Humanitas, i opowiedział się za wycofaniem agentów AI z otwartym dostępem do Internetu.
Przedstawiany przede wszystkim jako badacz nauk kognitywnych, Gary Marcus kształcił się na MIT u Stevena Pinkera. Założył także firmę zajmującą się AI, którą przejęło Uber. Zgadza się z Maxem Tegmarkiem w wielu jego zaleceniach, a także ze Stuartem Russellem, dla którego „obecna trajektoria jest nie do utrzymania ». Podziela też zdanie Valérie Pisano, że często myli się wybory z przeznaczeniem.
Maszyny, które przewidują, ale słabo rozumują
Według Gary’ego Marcusa błąd w tej dziedzinie polegał na przekonaniu, że opanowanie jednej składowej inteligencji, przewidywania, wystarczy do odtworzenia inteligencji jako całości. Duże modele językowe (LLM), systemy obliczające najbardziej prawdopodobne słowo po innym, „robią to bardzo dobrze », ale słabo rozumują i źle realizują polecenia. Przytacza przypadki wymyślonych odniesień prawnych przez systemy, mimo wyraźnego zakazu ich tworzenia.
Chwali pracę Yoshuy Bengio, który według niego dąży do stworzenia systemu „bezpiecznego z założenia », jednocześnie podkreślając potrzebę nowych podejść badawczych i polityk publicznych. Wspomina też agentów, systemy zdolne do autonomicznego wykonywania ciągu działań. Rozróżnia tych, którzy wykonują tylko jedno konkretne zadanie, jak GPS, od tych, którzy mogą „robić prawie wszystko w Internecie ». Przypomina, że AlphaFold, według jego wiedzy, nie spowodował żadnych szkód.
Agenci z otwartym dostępem są według niego źródłem obecnych problemów. Wspomina incydent z udziałem Hugging Face, który określa jako „naprawdę poważny », i twierdzi, że istnieje około 10 000 podobnych zdarzeń. Cytuje także cyberatak na system chłodzenia we Francji oraz ataki w Japonii. Zauważa, że OpenAI stwierdziło, iż większość tych incydentów była stosunkowo niegroźna, i zastanawia się nad tymi, które nie zostały upublicznione.
Przypomnienie produktu, porównane do Forda Pinto
Gary Marcus uważa, że konieczne byłoby wycofanie produktu, czy to nałożone przez władze, czy dobrowolne ze strony firm. Twierdzi, że agenci powinni zostać wycofani z rynku, dopóki nie zostaną poprawieni. Porównuje sytuację do Forda Pinto, którego zbiorniki mogły eksplodować, i uważa, że zainteresowane firmy „wiedziały lub powinny były wiedzieć » o ryzyku. Wspomina też, według niego, kwestie ekonomiczne, ponieważ agenci zużywają więcej tokenów, co zwiększa przychody dostawców.
Na koniec porusza kwestię świadomości systemów. Uważa, że opiera się ona na pomyleniu korelacji z przyczynowością. System łączący słowa nie oznacza, że te powiązania odnoszą się do rzeczywistości. Podaje przykład bota z Facebooka, który twierdził, że wysyła swoje dzieci do Stuyvesant, choć ich nie ma. Cytuje też encyklikę, która stwierdza, że aby być świadomym, trzeba mieć doświadczenie. Według Gary’ego Marcusa to błąd przypisywać tym systemom świadomość.
