Только что вышла книга, посвящённая посттренингу больших языковых моделей. Она называется «Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs», издана Manning и представляет собой плод многолетней работы над открытыми моделями. Посттренинг — это совокупность этапов, следующих за первоначальным обучением LLM (большой языковой модели) для её настройки и доводки.
Книга, выросшая из сайта
Книга берёт начало с веб-сайта, созданного автором, который ведёт блог Interconnects. Он хотел задокументировать ключевые методы посттренинга, для которых почти не находил объяснений в сети, включая такие темы, как rejection sampling, outcome reward models или character training. Сайт, до сих пор считающийся одним из немногих ресурсов, затрагивающих эти темы на фундаментальном и интуитивном уровне, стал относительно популярным.
Книга отдаёт предпочтение интуитивному пониманию и истории области, а не простому перечислению уравнений. Она адресована читателю, уже имеющему степень бакалавра в области компьютерных наук, а не новичку. Часть её содержания перерабатывает старые статьи из блога, чтобы связать математические концепции между собой. Автор уточняет, что в последний момент добавил раздел о on-policy distillation, и признаёт, что название книги немного устарело.
Текст также свободно доступен онлайн. К нему прилагается 12-часовой курс, доступный в виде слайдов и видео на YouTube, примеры кода с упражнениями и сравнениями результатов генерации моделей. По словам издателя, на сайте Manning до 19 августа действует скидка 50 % по коду PBLambert. Книга отправляется из Manning и Amazon США, а с октября — из Amazon Великобритании.
Обучение с подкреплением и дистилляция
Около 25 % книги, как по количеству слов, так и по страницам, посвящено обучению с подкреплением (RL). Заявленная цель — научиться рассуждать о различных алгоритмах, от теоремы о градиенте политики до PPO, а затем до более новых вариантов, таких как GSPO и CISPO. В частности, книга показывает, как логика обрезки (clipping) в PPO сводится к шести областям в зависимости от знака преимущества (advantage) и значения отношения политик (policy ratio).
Текст также затрагивает вопросы инфраструктуры. По мнению автора, суть современного RL — это системная проблема, заключающаяся в управлении расхождением между данными и текущей политикой, разрывом между обучением и выводом, а также пропускной способностью. Асинхронная архитектура, разделяющая GPU, выделенные для обучения, и другие, выделенные для генерации данных, остаётся схожей на протяжении нескольких лет.
Глава, посвящённая дистилляции, то есть использованию выходных данных одной модели для обучения другой, представлена как способ прояснить практику, часто описываемую полемически. Книга прослеживает переход от литературы по дистилляции 2015 года к многопреподавательской (multi-teacher) и on-policy дистилляции, которая, по словам автора, используется в Xiaomi MiMo-V2-Flash и DeepSeek V4.
Автор также считает, что исследования должны привлекать внимание игроков отрасли. Он указывает, что сегодня на интеграцию исследовательской статьи в передовую модель уходит от 3 до 9 месяцев, в отличие от нескольких лет назад в крупных технологических компаниях. По его словам, книга призвана помочь читателю определить работы, которые действительно имеют значение.
