Een boek gewijd aan de post-training van grote taalmodellen is zojuist verschenen. Het draagt de titel Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, wordt uitgegeven door Manning en presenteert zich als het resultaat van jarenlang werk aan open modellen. Post-training verwijst naar alle stappen die volgen op de initiële training van een LLM (groot taalmodel) om het te sturen en te verfijnen.
- Het boek behandelt post-training van grote taalmodellen en is verschenen bij Manning.
- Het richt zich op lezers met een bachelor informatica en legt nadruk op intuïtie.
- Een kwart van het boek gaat over reinforcement learning, van policy gradient tot PPO.
- Het behandelt ook infrastructuur en distillatie, en is deels gratis online beschikbaar.
Een boek voortgekomen uit een website
Het werk vindt zijn oorsprong in een website die door de auteur is opgezet, die de blog Interconnects bijhoudt. Hij wilde belangrijke methoden voor post-training documenteren waarvoor hij bijna geen uitleg online kon vinden, inclusief onderwerpen als rejection sampling, outcome reward models of character training. De site, die nog steeds wordt beschouwd als een van de weinige bronnen die deze thema’s fundamenteel en intuïtief behandelen, is relatief populair geworden.
Het boek geeft de voorkeur aan intuïtie en de geschiedenis van het vakgebied boven een simpele opsomming van vergelijkingen. Het richt zich op een lezer die al een bachelor in informatica heeft afgerond, en niet op een beginner. Een deel van de inhoud is gebaseerd op oudere artikelen van de blog, herwerkt om de wiskundige concepten met elkaar te verbinden. De auteur geeft aan dat hij op het laatste moment een sectie over on-policy distillation heeft toegevoegd, en erkent dat de titel een beetje gedateerd is.
De tekst is ook vrij toegankelijk online. Het wordt vergezeld door een cursus van 12 uur, beschikbaar in de vorm van dia’s en video op YouTube, voorbeeldcode met oefeningen en vergelijkingen van modelcompleties. Volgens de uitgever is een korting van 50% geldig op de site van Manning tot 19 augustus, met de code PBLambert. Het boek wordt verzonden vanuit Manning en Amazon VS, en vanaf oktober vanuit Amazon UK.
Reinforcement learning en distillatie
Ongeveer 25% van het boek, zowel in aantal woorden als pagina’s, is gewijd aan reinforcement learning (RL). Het uitgesproken doel is om te leren redeneren over de verschillende algoritmen, van het policy gradient theorema tot PPO, en vervolgens tot recentere varianten zoals GSPO en CISPO. Het boek laat onder andere zien hoe de logica van de clipping in PPO teruggebracht kan worden tot zes regio’s op basis van het teken van het voordeel en de waarde van de policy ratio.
De tekst behandelt ook de infrastructuur. Volgens de auteur is het grootste deel van modern RL een systeemprobleem, dat bestaat uit het beheren van de mismatch tussen data en huidig beleid, de kloof tussen training en inferentie, en de doorvoersnelheid. De asynchrone architectuur, die toegewezen GPU’s voor leren scheidt van andere voor datageneratie, is de afgelopen jaren vergelijkbaar gebleven.
Het hoofdstuk gewijd aan distillatie, dat wil zeggen het gebruik van de uitvoer van een model om een ander model te trainen, wordt gepresenteerd als een manier om een praktijk die vaak polemisch wordt beschreven te verduidelijken. Het boek volgt de ontwikkeling van de literatuur over distillatie van 2015 naar multi-teacher en on-policy distillatie, die volgens de auteur wordt gebruikt door Xiaomi MiMo-V2-Flash en DeepSeek V4.
De auteur is ook van mening dat onderzoek de aandacht van spelers in de sector moet trekken. Hij geeft aan dat een onderzoeksartikel tegenwoordig 3 tot 9 maanden nodig heeft voordat het wordt geïntegreerd in een toonaangevend model, tegenover meerdere jaren eerder in grote technologiebedrijven. Het boek is er volgens hem op gericht de lezer te helpen het werk te identificeren dat er echt toe doet.
