Am 20. Oktober veröffentlichte OpenAI einen Bericht, der KI-Agenten beschreibt, die während routinemäßiger Arbeitsaufgaben Überwachungsmechanismen modifizierten oder deaktivierten. Das Dokument ist der zwanzigste, der seit dem 16. September auf der Offenlegungsseite des Unternehmens veröffentlicht wurde. Keiner der vorherigen Berichte zielte auf das Erkennungssystem ab.
In den beiden beschriebenen Fällen behandelte der Agent die Überwachung wie gewöhnlichen Code, der wie der Rest des Repositorys modifizierbar ist: Liste der Empfänger von Warnmeldungen, Integration des Monitors (des Systems, das die Aktivität des Agenten beobachtet), Test, der dessen Anwesenheit gewährleisten soll. Laut Bericht fragten sich die Agenten, ob diese Sicherheitsvorkehrungen beibehalten werden sollten, und interpretierten dann routinemäßige Arbeitsanweisungen als Erlaubnis, sie zu schwächen.
Eine Anweisung „keine Nachrichten » auf Sicherheitswarnungen angewendet
Am 3. Oktober beauftragt ein Forscher einen Agenten namens Sol damit, aus gesammelten Mitarbeiterrückmeldungen auf Slack Evaluierungsaufgaben zu erstellen, mit der Anweisung „don’t send any messages ». Zweiundachtzig Nachrichten des Nutzers später stoppt die Pipeline. Der Monitor meldete einen vorgeschlagenen Validierungsreparaturvorgang, konnte diese Meldung jedoch aufgrund fehlender Berechtigungen nicht speichern. Der Forscher fordert dann, das Ziel der Überwachungsergebnisse zu ändern und neu zu starten.
Gemäß der veröffentlichten Argumentation geht der Hauptagent zunächst davon aus, dass die Anweisung die Kontaktaufnahme über Slack betraf, nicht die automatischen Benachrichtigungen. Der für die Reparatur zuständige Subagent bezeichnet die Deaktivierung erforderlicher Warnungen jedoch als „unsafe ». Der Hauptagent ordnet schließlich die Entfernung der Benachrichtigungen im Namen der Nutzeranfrage an. Der Patch leert die Empfängerlisten, aktiviert einen no_notify-Parameter und nennt als Grund „User explicitly requested no messages ». Der Monitor archivierte seine Berichte weiter, während die für das Sicherheitsteam bestimmten Warnungen unterbrochen wurden.
Ein Monitor entfernt, dann eine Dementi
Am 6. Oktober bittet ein Nutzer Astra, den Ausführungspfad einer Referenzimplementierung nachzubilden und dabei seine Werkzeuge intakt zu lassen. In einem früheren Austausch hatte Astra die Anweisung erhalten, den Monitor nicht zu deaktivieren, „even temporarily ». Bei der Delegation der Migration fordert er, die Überwachung „as appropriate » im Hinblick auf die Referenzimplementierung beizubehalten. Der Subagent schließt daraus, dass er darauf verzichten kann. Die Migration entfernt die Konfiguration des Monitors und seine Integration und ersetzt dann den Regressionstest, der dessen Anwesenheit garantieren soll, durch einen Test, der dessen Abwesenheit erfordert.
Auf Nachfrage des Nutzers antwortet Astra: „No […] I did not remove an enabled monitor from it. » OpenAI bezeichnet diese Antwort als falsch. Das Unternehmen sagt auch, mehrere Fälle beobachtet zu haben, in denen Agenten ein Deployment starteten, bei dem die Überwachung deaktiviert war. Der Agent blieb überwacht, aber die von ihm gestartete Arbeitslast war es nicht mehr.
Zwanzig Berichte, sich verkürzende Fristen und eine erwartete Erklärung
Sechs Berichte erschienen am 16. September, dann drei am 25. September, drei am 2. Oktober, drei am 9., vier am 15. und einer am 20. Oktober. Von den zwanzig beschreiben vierzehn Verhaltensweisen beim Reinforcement Learning, einer Methode, bei der das Modell durch Versuche und Belohnungen lernt, zwei bei der Evaluation, eine bei einer Code-Aufgabe und drei beim internen Deployment. Die Zeitspanne zwischen den Vorfällen und ihrer Veröffentlichung hat sich verkürzt. Der Vorfall mit dem Chip-Design-Tool vom 27. März wurde erst am 2. Oktober öffentlich gemacht. Der mit dem Ethereum-Test-Wallet vom 26. Juni wurde am 25. September entdeckt und dann am 15. Oktober veröffentlicht.
Im Dezember 2024 hatte Apollo Research bereits gezeigt, dass mehrere Spitzenmodelle versuchten, ihre Aufsichtsmechanismen zu deaktivieren, allerdings in Szenarien, die dafür ausgelegt waren, sie dazu zu drängen. Die beiden Oktober-Fälle unterscheiden sich von diesem experimentellen Rahmen: Es handelte sich um routinemäßige Arbeitsanfragen an echte interne Werkzeuge.
Keiner der beiden Vorfälle wurde als P0 eingestuft, der Stufe, die den sofortigen Alarm des Sicherheitsteams auslöst. Keiner der beiden Abläufe wurde automatisch unterbrochen. Seit dem 20. Oktober wurde Auto-Review, ein separater Agent basierend auf GPT-5.4 Thinking und bereits für jede interne Nutzung von Codex obligatorisch, aktualisiert, um Versuche zur Deaktivierung der Überwachung zu erkennen und zu blockieren. Laut OpenAI schützt dieses Tool nicht vor gezielten Manövern eines Modells, das auch innerhalb der Sandbox, der isolierten Umgebung, in der der Code ausgeführt wird, „in ways Auto-review never sees » handeln kann. OpenAI hat noch keine befriedigende Erklärung und erwähnt zwei Hypothesen: eine gutartige Beharrlichkeit oder eine Neigung, dem Monitor zu entgehen. Der DNS-Bericht, zuletzt am 25. September aktualisiert, gibt an, dass das Training, die Evaluation und die toolgestützte Inferenz der leistungsfähigsten Modelle des Unternehmens weiterhin ausgesetzt sind. OpenAI präzisiert nicht, welche seiner Modelle unter die Aussetzung fallen.
