Ein Buch zum Post-Training großer Sprachmodelle ist gerade erschienen. Es trägt den Titel Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, wird von Manning veröffentlicht und wird als Ergebnis mehrjähriger Arbeit an offenen Modellen vorgestellt. Post-Training bezeichnet alle Schritte, die auf das initiale Training eines LLM (großen Sprachmodells) folgen, um es auszurichten und zu verfeinern.
- Das Buch behandelt das Post-Training großer Sprachmodelle.
- Es entstand aus einer beliebten Website des Autors und ist online frei zugänglich.
- Etwa ein Viertel des Buches widmet sich dem Reinforcement Learning und seiner Infrastruktur.
- Das Kapitel zur Distillation erklärt eine oft umstrittene Praxis und zeigt, wie Forschung schnell in Spitzenmodelle einfließt.
Ein Buch, das aus einer Website hervorging
Das Werk hat seinen Ursprung in einer Website, die der Autor, der den Blog Interconnects betreibt, erstellt hat. Er wollte Schlüsselmethoden des Post-Trainings dokumentieren, für die er online kaum Erklärungen fand, darunter Themen wie Rejection Sampling, Outcome Reward Models oder Character Training. Die Website, die nach wie vor als eine der wenigen Ressourcen gilt, die diese Themen grundlegend und intuitiv behandelt, wurde relativ populär.
Das Buch bevorzugt Intuitionen und die Geschichte des Fachgebiets gegenüber einer bloßen Auflistung von Gleichungen. Es richtet sich an einen Leser, der bereits einen Bachelor-Abschluss in Informatik abgeschlossen hat, nicht an einen Anfänger. Ein Teil seines Inhalts greift ältere Blogartikel auf, die überarbeitet wurden, um die mathematischen Konzepte miteinander zu verbinden. Der Autor gibt an, im letzten Moment einen Abschnitt über On-Policy-Distillation hinzugefügt zu haben, und räumt ein, dass der Titel etwas veraltet sei.
Der Text ist auch frei online zugänglich. Er wird begleitet von einem 12-stündigen Kurs, der als Folien und Video auf YouTube verfügbar ist, sowie von Beispielcode mit Übungen und Vergleichen von Modell-Vervollständigungen. Laut Verlag gilt auf der Manning-Website bis zum 19. August eine Rabattaktion von 50 % mit dem Code PBLambert. Das Buch wird von Manning und Amazon USA aus versandt und ab Oktober von Amazon UK.
Verstärkendes Lernen und Distillation
Etwa 25 % des Buches, sowohl in Wortzahl als auch Seitenzahl, ist dem Reinforcement Learning (RL) gewidmet. Das erklärte Ziel ist es, zu lernen, über die verschiedenen Algorithmen zu denken, vom Policy-Gradient-Theorem bis zu PPO, und dann zu neueren Varianten wie GSPO und CISPO. Das Buch zeigt unter anderem, wie sich die Logik des PPO-Clippings auf sechs Regionen reduziert, je nach Vorzeichen des Vorteils und Wert des Policy-Ratios.
Der Text behandelt auch die Infrastruktur. Laut Autor ist der Kern des modernen RL ein Systemproblem, das darin besteht, die Verzögerung zwischen Daten und aktueller Policy, die Diskrepanz zwischen Training und Inferenz sowie den Durchsatz zu managen. Die asynchrone Architektur, die GPUs für das Lernen von solchen für die Datengenerierung trennt, ist seit einigen Jahren ähnlich geblieben.
Das Kapitel über Distillation, also die Nutzung der Ausgaben eines Modells zum Training eines anderen Modells, wird als Mittel vorgestellt, um eine oft polemisch beschriebene Praxis zu klären. Das Buch zeichnet den Weg der Literatur zur Distillation von 2015 bis zur Multi-Teacher- und On-Policy-Distillation nach, die laut Autor von Xiaomi MiMo-V2-Flash und DeepSeek V4 verwendet wird.
Der Autor ist auch der Ansicht, dass die Forschung die Aufmerksamkeit der Branche verdient. Er gibt an, dass ein Forschungsartikel heute 3 bis 9 Monate braucht, um in ein Spitzenmodell integriert zu werden, während es in großen Technologieunternehmen früher mehrere Jahre dauerte. Das Buch zielt laut ihm darauf ab, dem Leser zu helfen, die Arbeiten zu identifizieren, die wirklich zählen.
