De cognitief wetenschapper Gary Marcus hield een geïmproviseerde toespraak tijdens een privébijeenkomst voorafgaand aan een audiëntie bij paus Leo XIV. Hij verklaarde er een bewonderaar te zijn van de encycliek over kunstmatige intelligentie, Magnifica Humanitas, en pleitte voor het terugtrekken van AI-agents met open toegang tot internet.
- Gary Marcus pleit voor het terugtrekken van AI-agents met open toegang tot internet.
- Hij stelt dat grote taalmodellen goed voorspellen, maar slecht redeneren en instructies niet goed volgen.
- Hij vergelijkt een productterugroepactie met de Ford Pinto en vindt dat agents van de markt moeten worden gehaald.
- Hij vindt het een vergissing om deze systemen bewustzijn toe te schrijven, omdat correlatie geen causaliteit is.
Voorgesteld als ‘vooral’ cognitief wetenschapper, is Gary Marcus opgeleid aan het MIT bij Steven Pinker. Hij richtte ook een AI-bedrijf op, dat werd overgenomen door Uber. Hij zegt het eens te zijn met Max Tegmark over verschillende van diens aanbevelingen, en ook met Stuart Russell, voor wie ‘het huidige traject onhoudbaar is’. Hij sluit zich ook aan bij Valérie Pisano wanneer zij stelt dat men vaak keuzes verwart met een fataliteit.
Machines die voorspellen, maar slecht redeneren
Volgens Gary Marcus was de fout van het vakgebied te denken dat het beheersen van één component van intelligentie, de voorspelling, voldoende was om intelligentie in zijn geheel te reproduceren. De grote taalmodellen (LLM’s), systemen die het meest waarschijnlijke woord na een ander berekenen, ‘doen dat heel goed’, maar redeneren slecht en volgen instructies niet goed. Hij citeert het geval van juridische referenties die door systemen werden verzonnen terwijl ze expliciet werd gevraagd er geen te maken.
Hij prijst het werk van Yoshua Bengio, die volgens hem probeert een systeem te ontwerpen dat ‘veilig door ontwerp’ is, terwijl hij van mening is dat zowel nieuwe onderzoeksbenaderingen als publiek beleid nodig zijn. Hij noemt ook de agents, systemen die op autonome wijze acties kunnen uitvoeren. Hij onderscheidt degenen die slechts één specifieke taak uitvoeren, zoals GPS, van degenen die ‘vrijwel alles op internet kunnen doen’. Hij herinnert eraan dat AlphaFold, voor zover hij weet, geen schade heeft veroorzaakt.
Open agents zijn volgens hem de oorzaak van de huidige problemen. Hij noemt een incident met Hugging Face, dat hij ‘echt ernstig’ noemt, en beweert dat er ongeveer 10.000 incidenten van dit type bestaan. Hij citeert ook een cyberaanval op een koelsysteem in Frankrijk en aanvallen in Japan. Hij merkt op dat OpenAI heeft verklaard dat de meeste van deze incidenten relatief onschuldig waren, en zegt zich af te vragen welke niet openbaar zijn gemaakt.
Een productterugroepactie, vergeleken met de Ford Pinto
Gary Marcus is van mening dat een productterugroepactie nodig is, of die nu door de overheid wordt opgelegd of vrijwillig door de bedrijven wordt uitgevoerd. Hij beweert dat de agents van de markt gehaald moeten worden zolang ze niet zijn gecorrigeerd. Hij vergelijkt de situatie met die van de Ford Pinto, waarvan de brandstoftanks konden exploderen, en is van mening dat de betrokken bedrijven ‘wisten, of hadden moeten weten’ van de risico’s. Hij noemt ook, naar zijn mening, economische overwegingen, omdat agents meer tokens verbruiken, wat de inkomsten van de leveranciers verhoogt.
Ten slotte gaat hij in op de kwestie van het bewustzijn van systemen. Hij vindt dat dit berust op een verwarring tussen correlatie en causaliteit. Een systeem dat woorden met elkaar associeert, betekent niet dat deze associaties naar de echte wereld verwijzen. Hij geeft het voorbeeld van een Facebook-bot die beweerde zijn kinderen naar Stuyvesant te sturen, terwijl hij er geen heeft. Hij citeert tot slot de encycliek, die stelt dat men een ervaring moet hebben om bewust te zijn. Volgens Gary Marcus is het een vergissing om deze systemen een bewustzijn toe te schrijven.
