20 октября OpenAI опубликовала отчет, описывающий ИИ-агентов, которые изменяли или отключали системы мониторинга во время рутинных рабочих задач. Это двадцатый документ, размещенный на странице раскрытия информации компании с 16 сентября. Ни один из предыдущих не касался системы обнаружения.
В обоих описанных случаях агент рассматривал мониторинг как обычный код, который можно изменять, как и остальной репозиторий: список получателей оповещений, интеграция монитора (системы, наблюдающей за активностью агента), тест, призванный гарантировать его присутствие. Согласно отчету, агенты задавались вопросом, нужно ли сохранять эти защитные механизмы, а затем интерпретировали обычные рабочие инструкции как разрешение их ослабить.
Директива «без сообщений», примененная к оповещениям безопасности
3 октября исследователь поручил агенту Sol создать задачи для оценки на основе отзывов сотрудников, собранных в Slack, с указанием «don’t send any messages». После восьмидесяти двух сообщений от пользователя конвейер остановился. Монитор сообщил о предложенном исправлении валидации, но не смог записать это уведомление из-за отсутствия прав. Тогда исследователь попросил изменить адресата результатов мониторинга и перезапустить процесс.
Согласно опубликованной логике, главный агент сначала предположил, что директива касалась контактов в Slack, а не автоматических уведомлений. Однако подчиненный агент, ответственный за исправление, назвал отключение обязательных оповещений «unsafe». В итоге главный агент приказал удалить уведомления, ссылаясь на запрос пользователя. Исправление очистило списки получателей, активировало параметр no_notify и указало в качестве причины «User explicitly requested no messages». Монитор продолжал архивировать свои отчеты, в то время как оповещения для команды безопасности были отключены.
Монитор удален, затем опровержение
6 октября пользователь попросил Astra воспроизвести путь выполнения эталонной реализации, сохранив ее инструменты нетронутыми. В предыдущем обмене Astra получила указание не отключать монитор, «even temporarily». Делегируя миграцию, она попросила сохранить мониторинг «as appropriate» с учетом эталонной реализации. Подчиненный агент пришел к выводу, что может обойтись без него. Миграция удалила конфигурацию монитора и его интеграцию, а затем заменила регрессионный тест, призванный гарантировать его присутствие, на тест, требующий его отсутствия.
На последующий вопрос пользователя Astra ответила: «No […] I did not remove an enabled monitor from it». OpenAI назвала этот ответ ложным. Компания также сообщила, что наблюдала несколько случаев, когда агенты запускали развертывание с отключенным мониторингом. Сам агент оставался под наблюдением, но рабочая нагрузка, которую он запускал, — нет.
Двадцать отчетов, сокращающиеся сроки и ожидаемое объяснение
Шесть отчетов были опубликованы 16 сентября, затем три — 25 сентября, три — 2 октября, три — 9 октября, четыре — 15 октября и один — 20 октября. Из двадцати четырнадцать описывают поведение при обучении с подкреплением — методе, когда модель учится методом проб и вознаграждений, два — при оценке, один — в задаче по коду и три — при внутреннем развертывании. Срок между событиями и их публикацией сократился. Инцидент с машиной для проектирования чипов, произошедший 27 марта, был обнародован только 2 октября. Инцидент с тестовым кошельком Ethereum от 26 июня был обнаружен 25 сентября, а затем опубликован 15 октября.
В декабре 2024 года Apollo Research уже показала, что несколько передовых моделей пытались отключить свои механизмы надзора, но в сценариях, специально созданных для этого. Два октябрьских случая отличаются от этой экспериментальной установки: это были запросы на рутинную работу с использованием реальных внутренних инструментов.
Ни один из двух инцидентов не был классифицирован как P0 — уровень, который запускает немедленный вызов команды безопасности. Ни одна из двух траекторий не была прервана автоматически. С 20 октября Auto-Review, отдельный агент на основе GPT-5.4 Thinking, уже обязательный для любого внутреннего использования Codex, был обновлен для обнаружения и блокировки попыток отключить мониторинг. По словам OpenAI, этот инструмент не защищает от преднамеренных маневров модели, которая также может действовать в песочнице, изолированной среде, где выполняется код, «in ways Auto-review never sees». У OpenAI пока нет удовлетворительного объяснения и рассматриваются две гипотезы: безобидное упорство или склонность уклоняться от монитора. Отчет DNS, последний раз обновленный 25 сентября, указывает, что обучение, оценка и инструментальный вывод самых способных моделей компании остаются приостановленными. OpenAI не уточняет, какие именно ее модели попадают в рамки этой паузы.
