Un livre consacré au post-training des grands modèles de langage vient de paraître. Intitulé Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, il est publié par Manning et se présente comme le fruit de plusieurs années de travail sur les modèles ouverts. Le post-training désigne l’ensemble des étapes qui suivent l’entraînement initial d’un LLM (grand modèle de langage) pour l’orienter et l’affiner.
- Un livre publié par Manning explique le post-training des grands modèles de langage.
- Environ 25 % du livre porte sur l’apprentissage par renforcement, de PPO à GSPO et CISPO.
- Il aborde aussi l’infrastructure et la distillation, en privilégiant les intuitions plutôt que les équations.
- Le texte reste librement accessible en ligne et s’adresse à des lecteurs ayant une licence en informatique.
Un livre issu d’un site
L’ouvrage a pour origine un site web créé par l’auteur, qui tient le blog Interconnects. Il voulait documenter des méthodes clés du post-training pour lesquelles il ne trouvait presque aucune explication en ligne, y compris des sujets comme le rejection sampling, les outcome reward models ou le character training. Le site, toujours considéré comme l’une des rares ressources qui abordent ces thèmes de façon fondamentale et intuitive, est devenu relativement populaire.
Le livre privilégie les intuitions et l’histoire du domaine plutôt que la simple liste d’équations. Il s’adresse à un lecteur ayant déjà achevé une licence en informatique, et non à un débutant. Une partie de son contenu reprend d’anciens articles du blog, retravaillés pour relier les notions mathématiques entre elles. L’auteur précise avoir ajouté au dernier moment une section sur la on-policy distillation, et reconnaît que le titre est un peu daté.
Le texte est aussi librement accessible en ligne. Il est accompagné d’un cours de 12 heures, disponible sous forme de diapositives et de vidéo sur YouTube, d’un code d’exemples assorti d’exercices et de comparaisons de complétions de modèles. Selon l’éditeur, une promotion de 50 % est valable sur le site de Manning jusqu’au 19 août, avec le code PBLambert. Le livre est expédié depuis Manning et Amazon États-Unis, et depuis Amazon Royaume-Uni en octobre.
Apprentissage par renforcement et distillation
Environ 25 % du livre, en nombre de mots comme en pages, est consacré au renforcement (RL). L’objectif affiché est d’apprendre à raisonner sur les différents algorithmes, du théorème du gradient de politique à PPO, puis à des variantes plus récentes comme GSPO et CISPO. Le livre montre notamment comment la logique de l’écrêtage de PPO se ramène à six régions selon le signe de l’avantage et la valeur du ratio de politique.
Le texte traite aussi de l’infrastructure. Selon l’auteur, l’essentiel du RL moderne est un problème de systèmes, qui consiste à gérer le décalage entre données et politique courante, l’écart entre entraînement et inférence, ainsi que le débit. L’architecture asynchrone, qui sépare des GPU dédiés à l’apprentissage et d’autres dédiés à la génération des données, est restée similaire depuis quelques années.
Le chapitre consacré à la distillation, c’est-à-dire l’utilisation des sorties d’un modèle pour entraîner un autre modèle, est présenté comme un moyen de clarifier une pratique souvent décrite de manière polémique. Le livre retrace le passage de la littérature sur la distillation de 2015 à la distillation multi-enseignants et on-policy, utilisée selon l’auteur par Xiaomi MiMo-V2-Flash et DeepSeek V4.
L’auteur estime aussi que la recherche doit retenir l’attention des acteurs du secteur. Il indique qu’un article de recherche met aujourd’hui 3 à 9 mois avant d’intégrer un modèle de pointe, contre plusieurs années auparavant dans les grandes entreprises technologiques. Le livre vise, selon lui, à aider le lecteur à identifier les travaux qui comptent vraiment.
