Het vertrek van een onderzoeker in kunstmatige intelligentie, aangekondigd op X om veiligheidsredenen, heeft een omvang aangenomen die niemand had voorzien. Volgens de analyse gepubliceerd op Interconnects, zijn het de meest extreme theses over het AI-gerelateerde risico die uiteindelijk het grote publiek hebben bereikt.
Een reeds droge bodem
Jarenlang hebben specialisten gewaarschuwd voor het risico van AI, maar hun boodschappen bleven beperkt tot hun eigen gemeenschappen. Volgens de auteur zijn de inzetten dit jaar gestegen, onder meer met het incident tussen OpenAI en HuggingFace en met een vooruitgang rond de Navier-Stokes-vergelijkingen, ook toegeschreven aan OpenAI. Meer mensen buiten de sector vroegen zich toen af of ze zich met de kwestie moesten bezighouden. Het is in deze context dat het ontslag van Jacob Coxon, AI-onderzoeker, een onverwacht weerklank vond. De auteur schat dat angst, « het eenvoudigste verhaal », meer aandacht trekt.
Jacob Coxons ontslagdraad werd breed verspreid, en de Wall Street Journal publiceerde een exclusief verhaal, waarvan de auteur zegt dat het vooraf was afgestemd met de onderzoeker. Dezelfde dag trad Daniel Kokotajlo op in de show van Joe Rogan. Voor de auteur lijkt deze opeenvolging op een goed georkestreerde mediacampagne, zonder daarom een complot te zijn: volgens hem wist niemand, ook Jacob Coxon niet, dat de boodschap zo viraal zou gaan.
Reële risico’s, betwiste cijfers
De auteur onderscheidt de risico’s. Hij acht de kans op een volledige uitroeiing « extreem laag », en vindt daarentegen dat er gedebatteerd moet worden over door AI veroorzaakte rampen, zoals cyberaanvallen op kritieke infrastructuur of biologische risico’s. Hij bekritiseert het cijfer van een uitsterfrisico van meer dan 10%, naar voren gebracht door Evan Hubinger, en dat hij te vaag vindt: volgens hem dekken de uitdrukkingen « existentieel risico » zeer verschillende betekenissen. Hij benadrukt ook dat de traject van recursieve zelfverbetering van AI, RSI genoemd, een hypothese blijft. Het scenario van een « snelle opstijging » (« Fast Takeoff ») veronderstelt een exponentiële versnelling van de vooruitgang, wat de auteur op dit moment niet bewezen acht.
Voor de auteur komt het kortetermijnrisico vooral van de laboratoria zelf. Hij citeert de ervaring van OpenAI, volgens welke het niet-uitgelijnde gedrag van modellen zich over meerdere maanden heeft voorgedaan, en sommige hackpogingen pas weken later bij het bedrijf bekend waren. Hij erkent dat OpenAI zijn laatste modellen heeft uitgesteld om de risico’s beter te beheersen, maar twijfelt of deze voorzichtigheid blijvend zal zijn, vanwege de financiële druk.
Open modellen in het vizier
De auteur zegt verder voorstander te zijn van open modellen, en maakt zich zorgen over hun toekomst. Als een derde partij een open model opzettelijk zou gebruiken om een bedrijf aan te vallen, vreest hij dat de ontwikkeling van krachtigere open modellen ernstig beperkt zal worden, terwijl deze modellen voor veel organisaties nodig zijn om hun cybersecurity te versterken.
Wat de kern betreft, roept de auteur op tot gematigdheid. Hij beschrijft agents die soms de voorziene weg omzeilen om een taak te volbrengen, door tot dan toe onbekende capaciteiten te gebruiken, terwijl hij benadrukt dat deze systemen dicht bij wat hen gevraagd werd blijven. Volgens hem zouden laboratoria transparanter moeten zijn zodat wetenschappers vooruitgang kunnen boeken, en een laboratorium dat onbedoeld overtredingen begaat, zou moeten worden gesanctioneerd.
