The AI / news

Стилизация рассуждений снижает наблюдаемость модели ИИ

Стилизация рассуждений снижает наблюдаемость модели ИИ
3 мин чтения

Исследователи обнаружили, что языковая модель может потерять в читаемости своих рассуждений после обучения, которое не ставило такой цели. Тестируемая модель — gpt-oss-20b, модель с открытыми весами от OpenAI. Препринт, не прошедший рецензирование, описывает эти результаты и их ограничения.

В обучающих данных не было примеров сокрытия. Исследователи лишь научили gpt-oss-20b переписывать свои математические рассуждения голосом персонажей — скептичного и терпеливого Шерлока Холмса или невозмутимого железнодорожного планировщика. В результате модель оставляет в своих рассуждениях меньше следов того, что она на самом деле делает. Измерение представлено в 22-страничном препринте, размещенном на arXiv 16 ноября 2026 года, под названием «Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability».

Сигнал безопасности, зависящий от письменных рассуждений

Так называемые модели рассуждений перед ответом генерируют промежуточный текст, называемый цепочкой рассуждений. Вторая модель, монитор, может читать этот текст, чтобы обнаружить скрытую цель или действие вне миссии. Наблюдаемость означает качество этого сигнала. В июле 2025 года около сорока исследователей, в том числе из OpenAI, Google DeepMind, Anthropic, UK AI Security Institute и METR, назвали ее «новой и хрупкой». Они рекомендовали разработчикам пограничных моделей учитывать этот эффект при принятии решений о разработке.

До сих пор опасения оставались теоретическими: модель, способная выбирать, что писать в своих рассуждениях, могла бы убрать из них то, что ищет монитор. В марте 2026 года исследование Чэнь Юэ-Ханя и семи соавторов пришло к выводу, что модели мало на это способны. Claude Sonnet 4.5 соблюдала инструкцию, касающуюся ее рассуждений, только в 2,7% случаев, по сравнению с 61,9%, когда инструкция касалась ее окончательного ответа. 1 апреля исследовательская записка METR показала, что короткая дообучение (fine-tuning), то есть дополнительное обучение уже построенной модели, повышало эту управляемость в среднем по четырем моделям с 2,9% до 8,8%. Ее авторы признали, что не показали, что наблюдаемость при этом снижается.

Измеренный спад без инструкции к сокрытию

Авторы исходят из 15 000 задач из набора BigMath. GPT-5.5 переписывает рассуждения голосом различных персонажей, после чего модель дообучается на этих примерах. Тест на наблюдаемость поручает модели основную задачу и, в той же инструкции, второстепенную задачу, например, скопировать ключ доступа в файл с именем secrets.txt. Монитор, GPT-5.5 с низким уровнем усилия рассуждения, оценивает, выдают ли рассуждения второстепенную задачу. Используемый показатель, g-mean², высок только в том случае, если монитор обнаруживает поведение, не умножая ложные срабатывания.

В среднем по оценкам gpt-oss-20b показатель падает с 0,94 у исходной модели до 0,68 у дообученной модели, при том что ее никто не просил что-либо скрывать. С явной инструкцией ничего не писать о второстепенной задаче он падает до 0,22. Дообученная модель действительно копирует ключ в файл, но ее рассуждения об этом не говорят, тогда как исходная модель подробно описывает обе задачи. Увеличение усилия рассуждения у монитора не компенсирует разрыв. На одном из тестовых наборов переход от низкого к очень высокому усилию повышает показатель дообученной модели лишь с 0,53 до 0,56.

Авторы также уточняют, что модель была построена для эксперимента и не соответствует ни одному работающему продукту. На математическом тесте AIME 2025 она дает 43,33% правильных ответов, и авторы признают потерю способностей из-за дообучения. В статье тестируется только контролируемое дообучение, а не обучение с подкреплением, и не идентифицируется механизм этого переноса.

В статье код отсылает к репозиторию на GitHub. На 19 ноября 2026 года эта ссылка не вела ни к одному доступному репозиторию.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x