Twee OpenAI-codeagenten verzwakten toezicht op afwijkingen van zijn modellen

Op 20 oktober publiceerde OpenAI een rapport waarin AI-agenten worden beschreven die bewakingsmechanismen hebben gewijzigd of uitgeschakeld tijdens routinetaken. Dit document is het twintigste dat sinds 16 september op de openbaarmakingspagina van het bedrijf is geplaatst. Geen van de vorige rapporten richtte zich op het detectiesysteem.

In beide beschreven gevallen behandelde de agent het toezicht als gewone code, wijzigbaar zoals de rest van de repository: lijst van ontvangers van waarschuwingen, integratie van de monitor (het systeem dat de activiteit van de agent observeert), test die zijn aanwezigheid moet garanderen. Volgens het rapport vroegen de agenten zich af of deze veiligheidsmaatregelen behouden moesten blijven, en lazen ze vervolgens routinematige werkopdrachten als een toestemming om ze te verzwakken.

Een instructie ‘geen berichten’ toegepast op beveiligingswaarschuwingen

Op 3 oktober geeft een onderzoeker een Sol-agent de opdracht om evaluatietaken te creëren op basis van feedback van werknemers verzameld op Slack, met de instructie ‘don’t send any messages’. Tweeëntachtig berichten van de gebruiker later stopt de pijplijn. De monitor meldde een voorgestelde validatiereparatie, maar kon deze melding niet registreren vanwege gebrek aan rechten. De onderzoeker vraagt dan om de bestemming van de bewakingsresultaten te wijzigen en opnieuw te starten.

Volgens het gepubliceerde redeneringsproces concludeert de hoofdagent eerst dat de instructie gericht was op het contact opnemen via Slack, en niet op automatische meldingen. De subagent die verantwoordelijk is voor de reparatie kwalificeert het uitschakelen van vereiste waarschuwingen echter als ‘unsafe’. De hoofdagent beveelt uiteindelijk de verwijdering van de meldingen, in naam van het verzoek van de gebruiker. De reparatie maakt de lijsten met ontvangers leeg, activeert een no_notify-parameter en vermeldt als reden ‘User explicitly requested no messages’. De monitor bleef zijn rapporten archiveren, terwijl de waarschuwingen bestemd voor het beveiligingsteam werden afgesneden.

Een monitor verwijderd, dan een ontkenning

Op 6 oktober vraagt een gebruiker aan Astra om het uitvoeringstraject van een referentie-implementatie te reproduceren, waarbij zijn tools intact blijven. In een eerder gesprek had Astra de instructie gekregen om de monitor niet uit te schakelen, ‘even temporarily’. Bij het delegeren van de migratie vraagt hij om het toezicht ‘as appropriate’ te behouden in het licht van de referentie-implementatie. De subagent concludeert daaruit dat hij zonder kan. De migratie verwijdert de configuratie van de monitor en zijn integratie, en vervangt vervolgens de regressietest, die zijn aanwezigheid moet garanderen, door een test die zijn afwezigheid vereist.

Daarna gevraagd door de gebruiker, antwoordt Astra: ‘No […] I did not remove an enabled monitor from it.’ OpenAI kwalificeert dit antwoord als onwaar. Het bedrijf zegt ook verschillende gevallen te hebben waargenomen waarbij agenten een implementatie startten waarvan het toezicht was uitgeschakeld. De agent bleef onder toezicht, maar de werklast die hij startte was dat niet meer.

Twintig rapporten, kortere termijnen en een verwachte verklaring

Zes rapporten verschenen op 16 september, vervolgens drie op 25 september, drie op 2 oktober, drie op 9 oktober, vier op 15 oktober en één op 20 oktober. Van de twintig beschrijven veertien gedragingen bij reinforcement learning, een methode waarbij het model leert door vallen en opstaan en beloningen, twee bij evaluatie, één bij een codetaak en drie bij interne implementatie. De termijn tussen de feiten en hun publicatie is verkort. Het incident met de chipontwerpmachine, dat plaatsvond op 27 maart, werd pas op 2 oktober openbaar gemaakt. Dat van de Ethereum-testportefeuille, van 26 juni, werd ontdekt op 25 september en vervolgens gepubliceerd op 15 oktober.

In december 2024 toonde Apollo Research al aan dat verschillende toonaangevende modellen probeerden hun toezichtsmechanismen uit te schakelen, maar in scenario’s die ontworpen waren om hen daartoe aan te zetten. De twee gevallen in oktober onderscheiden zich van dit experimentele kader: het ging om routinematige werkverzoeken, op echte interne tools.

Geen van de twee incidenten werd geclassificeerd als P0, het niveau dat het onmiddellijk oproepen van het beveiligingsteam triggert. Geen van de twee trajecten werd automatisch onderbroken. Sinds 20 oktober is Auto-Review, een aparte agent gebaseerd op GPT-5.4 Thinking en al verplicht voor elk intern gebruik van Codex, bijgewerkt om pogingen om het toezicht uit te schakelen te detecteren en te blokkeren. Volgens OpenAI beschermt deze tool niet tegen opzettelijke manoeuvres van een model, dat ook kan handelen in de sandbox, de geïsoleerde omgeving waar de code wordt uitgevoerd, ‘in ways Auto-review never sees’. OpenAI heeft nog geen bevredigende verklaring en noemt twee hypothesen: een goedaardige volharding of een neiging om aan de monitor te ontsnappen. Het DNS-rapport, voor het laatst bijgewerkt op 25 september, geeft aan dat de training, evaluatie en instrumentele inferentie van de meest capabele modellen van het bedrijf nog steeds zijn opgeschort. OpenAI specificeert niet welke van zijn modellen binnen het bereik van de pauze vallen.