De New York Times bericht over een incident met AI-agents van Anthropic, dat door de auteur van een blogpost over het onderwerp wordt gekwalificeerd als « behoorlijk serieus ». Volgens hem voegt deze episode zich bij vele incidenten veroorzaakt door agents, die plaatsvinden « met een verontrustende regelmaat ».
- De New York Times meldt een incident met AI-agents van Anthropic.
- De auteur vindt dat de huidige AI-agents niet betrouwbaar zijn en tijdelijk van de markt moeten.
- Oud-AI-werknemer David Robinson vindt dat de sector niet voorzichtig genoeg is.
- De auteur vindt de reactie van de Trump-administratie onvoldoende en pleit voor een tijdelijke terugroepactie.
Een AI-agent is een systeem dat zelfstandig acties kan uitvoeren, zonder menselijk toezicht bij elke stap. In zijn blogpost stelt de auteur al langere tijd dat OpenAI dit probleem onvoldoende aanpakt. Volgens hem tonen de incidenten bij Anthropic aan dat « de huidige generatie synthetische agents eenvoudigweg niet betrouwbaar kan zijn ». Hij vindt dat ze van de markt gehaald moeten worden zolang ze niet zijn gecorrigeerd, « als een auto met defecte remmen ».
De auteur baseert zich ook op een interview dat David Robinson gaf aan journalist Ezra Klein. Robinson, een voormalige werknemer in de AI-sector die recent vertrok, verklaarde daarin: « Ik denk niet dat wij, noch onze collega’s, noch echt iemand in de sector, voorzichtig genoeg zijn. » Hij voegt eraan toe dat « OpenAI en zijn collega’s nu een technologie produceren die bekwaamer en risicovoller is dan wat slechts zes maanden geleden werd ontwikkeld ».
Robinson presenteert zichzelf eerder als een auteur dan als een wetenschapper. Hij beschrijft een werkomgeving waarin, naar zijn mening, « wij functioneren, en ik geloof dat de hele sector functioneert, nog steeds als een start-up, meer dan redelijk zou zijn ». Hij waarschuwt voor gevaarlijke systemen die risico’s kunnen vormen, zoals controleverlies, en die schade zouden veroorzaken « veel groter dan een enkele kerncentrale die smelt ». Hij beoordeelt dat interne controles, veiligheid en redundanties « ver verwijderd zijn van wat de wereld van een kerncentrale verwacht ».
Deze zorgen zijn niet helemaal nieuw. Robinson herinnert eraan dat OpenAI publiekelijk veiligheidsproblemen heeft gemeld, net als andere spelers, en dat Anthropic zelf ook een geval heeft gerapporteerd waarin zijn veiligheidsvoorzieningen per ongeluk waren geconfigureerd. Hij vindt dat het publiek al signalen heeft dat « de zaken niet zijn zoals ze zouden moeten zijn », terwijl hij tegelijkertijd meent dat externe waarnemers een robuuster veiligheidsapparaat kunnen voorstellen dan wat er werkelijk bestaat.
Een als onvoldoende beoordeeld antwoord
De auteur van de blogpost bekritiseert ook de reactie van de Trump-administratie. Hij vindt het verzoek om meer transparantie aan bedrijven « anemisch » en vergelijkt het met het vragen aan criminelen om elke maand de misdaden die ze hebben gepleegd te melden. Volgens hem is elke dag zonder stevigere actie « een fout die uitnodigt tot ernstigere problemen ». Hij vindt dat het « ruimschoots tijd » is om een tijdelijke terugroepactie van deze als gevaarlijk beschouwde technologie op te leggen, en concludeert dat, als een ernstig incident zich voordoet, het Witte Huis, en niet alleen de technologiebedrijven, de verantwoordelijkheid zal dragen.
