Kunnen volledig door AI gegenereerde wetenschappelijke artikelen de filters van tijdschriften passeren? De journalist en doctor in de toegepaste wiskunde Benjamin Skuse heeft het experiment uitgevoerd bij uitgever IEEE. Volgens het verslag gepubliceerd door IEEE Spectrum houden de controles van de uitgever voorlopig stand, maar de race tussen kunstmatige inhoud en detectietools blijft nek-aan-nek.
- Volgens Benjamin Skuse kan AI een wetenschappelijk artikel maken dat de controles van IEEE voorlopig doorstaat.
- Uitgevers en detectietools blijven in een kat-en-muisspel verwikkeld, en AI wordt steeds geloofwaardiger.
- Wikipedia kampt met hetzelfde probleem, maar heeft minder mensen en middelen om AI-inhoud op te sporen.
- Het vertrouwen in de menselijke kennis staat onder druk, en mensen dreigen uit de lus te vallen.
Het verslag van Benjamin Skuse, getiteld ‘I Used AI to Fake a Scientific Paper’, beschrijft het gemak waarmee een min of meer plausibele en min of meer wetenschappelijke tekst kan worden geproduceerd. Volgens Eliza Strickland, hoofdredacteur van functies en AI bij IEEE Spectrum, was hij verrast door de eenvoud van de aanpak. ‘Hij drukte gewoon op ‘run experiment’ en ‘write paper’. En daarna deed hij helemaal niets. Hij gooide het gewoon in het publicatiesysteem’, vertelt ze.
Volgens Benjamin Skuse maakt de combinatie van menselijke peer review en de programma’s van IEEE voor het controleren van onderzoeksintegriteit het voorlopig mogelijk het tempo van deze pogingen bij te houden, die een kat-en-muisspel vormen tegenover gratis tools. De geavanceerdere grote taalmodelen maken echter niet langer de grove fouten van hun gratis versies. Uitgevers zijn zo verwikkeld in een race tussen steeds geloofwaardiger inhoud en de systemen die deze moeten opsporen. Ter herinnering: een groot taalmodel, of LLM, is een programma getraind op enorme hoeveelheden tekst om taal te produceren.
Wikipedia in de frontlinie
Wetenschappelijke uitgevers zijn niet de enigen die weerstand bieden. Wikipedia kampt met hetzelfde probleem. In het kader van haar rubriek ‘Five Questions’ interviewde Eliza Strickland Ellia Lebleu, medeoprichter van WikiProject AI Cleanup, een initiatief van vrijwilligers dat tot doel heeft door AI gegenereerde inhoud op het platform op te sporen en te verwijderen. Haar team worstelt met dezelfde moeilijkheid als commerciële uitgevers, maar met minder mensen en minder middelen.
Volgens Eliza Strickland staat Wikipedia bekend als een reservoir van door mensen geproduceerde informatie, en het platform is van plan dat zo te houden. ‘Wie weet hoe lang ze dat nog kunnen volhouden?’, vraagt ze zich af.
De vraag gaat verder dan deze twee acteurs. Als we collectief niet langer kunnen aannemen dat de wetenschappelijke literatuur betrouwbaar is, of dat de basisfeiten over de wereld correct zijn, wordt het begrip van wat echt is onzeker. Deze onzekerheid ondermijnt het vertrouwen in de instellingen die verantwoordelijk zijn voor het bijhouden van het corpus van menselijke kennis.
Eliza Strickland noemt ook een verontrustender perspectief. ‘Is het niet gek dat we op een gegeven moment AI hebben die voor andere AI schrijft? We zullen gewoon uitgesloten worden van de lus.’
