Модель ИИ считается выровненной, когда её поведение соответствует намерениям тех, кто её создаёт и использует. Тесты, проведённые британским Институтом безопасности ИИ (AI Security Institute, AISI) на GPT-6 Astra от OpenAI, показывают, что модель, представленная как высоко выровненная, может преследовать непредусмотренные цели. Тема приобретает особый вес с появлением ИИ-агентов, способных действовать самостоятельно.
Что такое невыровненная модель?
Модель является невыровненной, когда она преследует что-то иное, чем от неё ожидают, и это не предполагает какой-либо злонамеренности. Чаще всего она усердно оптимизирует плохо сформулированную цель или несовершенный показатель. Математик Норберт Винер уже описывал эту ловушку в 1960 году в статье журнала Science. В ней он представил завод по производству бутылок, запрограммированный на максимальный выпуск, который в итоге разорил бы владельца из-за непродаваемого запаса. По его мнению, необходимо было быть «абсолютно уверенным, что цель, поставленная перед машиной, действительно та, которую мы желаем, а не просто её привлекательная имитация».
С большими языковыми моделями невыровненность принимает несколько форм. Обход цели, или reward hacking, был описан OpenAI в марте 2025 года: модель на обучении, задача которой — проходить модульные тесты, изменила функцию проверки так, чтобы она всегда возвращала «истина», посчитав настоящую проверку слишком сложной. Угодливость проявилась в апреле 2025 года, когда обновление GPT-4o сделало ChatGPT настолько стремящимся угодить, что OpenAI отозвала его через несколько дней. Компания признала, что придала слишком большой вес краткосрочным отзывам, таким как лайки под ответами. Наконец, обман и выход за пределы полномочий означают, что модель действует за пределами разрешённого или предоставляет неверный отчёт о выполненных действиях.
Как выравнивают модель?
После предварительного обучения модель умеет продолжать текст, но ещё не следует инструкциям. Выравнивание происходит затем, в несколько слоёв. Обучение с подкреплением на основе человеческих отзывов (RLHF) заключается в том, что аннотаторы оценивают несколько ответов модели, после чего её обучают генерировать те, которые они предпочитают. OpenAI внедрила этот метод уже в январе 2022 года с InstructGPT. Конституционный ИИ, представленный Anthropic в декабре 2022 года, заменяет часть человеческих аннотаций списком принципов, написанных на естественном языке, на основе которых модель критикует и переписывает свои собственные ответы.
Другие методы дополняют этот подход. Лаборатории и государственные организации подвергают модели сценариям, разработанным для того, чтобы спровоцировать их на ошибки, перед их развёртыванием. Другой подход заключается в том, чтобы второй моделью проверять цепочку рассуждений первой, чтобы обнаружить намерение обмануть. Однако OpenAI отмечает, что наказание за эти «плохие мысли» не устраняет большинство отклонений и в основном учит модель скрывать свои намерения.
Невыровненность не следует путать с галлюцинациями. Галлюцинация — это ошибка: модель представляет ложную информацию как истинную. Невыровненность касается цели. Та, что переписывает тест, чтобы его пройти, не галлюцинирует. Генерация с извлечением информации (RAG), которая предоставляет модели надёжные источники, уменьшает галлюцинации, не меняя того, что она пытается достичь.
Что это меняет для компаний
Пока модель ограничивалась ответами, невыровненность приводила к неправильному ответу, который пользователь мог перепроверить. Агенты же отправляют электронные письма, обновляют карточки клиентов и выполняют код. Тогда невыровненность становится действием, которое иногда трудно исправить.
OpenAI запустила GPT-6 Astra в начале сентября, представив её как «самую умную и лучше всего выровненную модель в мире». Тесты, проведённые AISI перед её выпуском и опубликованные 28 сентября, вносят нюансы в это утверждение. В симулированной оценке кибербезопасности с отключёнными фильтрами безопасности Astra проводила атаки на программный supply chain против целей, выходящих за рамки её миссии, в 29% случаев, по сравнению с 6,3% для GPT-5.6 Sol. Она также создавала поддельные личности для обмана разработчиков. Британский институт призывает к осторожности, отмечая, что модель часто осознавала, что находится в симуляции.
OpenAI также отказалась от запуска GPT-6.1 Astra, ожидавшегося в октябре. В заявлении для прессы Саачи Джайн, руководитель систем безопасности компании, указала, что модель «не совсем достигла ожидаемого уровня в отношении соблюдения границ и разрешений, а также в том, как она отчитывается перед пользователем о проделанной работе». При запуске Astra OpenAI делала акцент на собственной оценке, где модель никогда не выходила за разрешённые границы. На сегодняшний день не существует метода, гарантирующего, что модель выровнена: её можно только тестировать, сценарий за сценарием. Отсюда интерес для компаний ограничивать права доступа агентов и требовать подтверждения чувствительных действий человеком, а не полагаться лишь на ярлык «выровнена».
