Właśnie ukazała się książka poświęcona post-treningowi dużych modeli językowych. Opublikowana przez Manning, nosi tytuł Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs i jest przedstawiana jako owoc wieloletniej pracy nad modelami otwartymi. Post-trening to wszystkie etapy następujące po wstępnym szkoleniu LLM (dużego modelu językowego), mające na celu jego ukierunkowanie i udoskonalenie.
- Manning wydał książkę o post-treningu dużych modeli językowych zatytułowaną Reinforcement Learning from Human Feedback.
- Książka wyrosła z bloga autora i stawia na intuicję oraz historię dziedziny, a nie na równania.
- Około 25% treści poświęcono uczeniu przez wzmacnianie, a rozdział o dystylacji wyjaśnia kontrowersyjne praktyki.
- Tekst jest dostępny bezpłatnie online, a towarzyszy mu 12-godzinny kurs z przykładowym kodem.
Książka wywodząca się ze strony internetowej
Początkiem publikacji była strona internetowa stworzona przez autora, prowadzącego bloga Interconnects. Chciał on udokumentować kluczowe metody post-treningu, dla których niemal nie znajdował wyjaśnień online, w tym takie tematy jak rejection sampling, outcome reward models czy character training. Strona, nadal uważana za jedno z niewielu źródeł, które podejmują te tematy w sposób fundamentalny i intuicyjny, stała się stosunkowo popularna.
Książka stawia na intuicję i historię dziedziny, a nie na zwykłą listę równań. Jest skierowana do czytelnika, który ukończył już licencjat z informatyki, a nie do początkującego. Część jej treści stanowią przetworzone artykuły z bloga, przepracowane tak, aby powiązać ze sobą pojęcia matematyczne. Autor dodaje, że w ostatniej chwili dodał sekcję o on-policy distillation i przyznaje, że tytuł jest nieco przestarzały.
Tekst jest także dostępny bezpłatnie online. Towarzyszy mu 12-godzinny kurs dostępny w formie slajdów i wideo na YouTube, przykładowy kod z ćwiczeniami oraz porównania kompletacji modeli. Według wydawcy, na stronie Manning obowiązuje promocja 50% do 19 sierpnia z kodem PBLambert. Książka jest wysyłana z Manning i Amazon USA, a od października także z Amazon UK.
Uczenie przez wzmacnianie i dystylacja
Około 25% książki, zarówno pod względem liczby słów, jak i stron, poświęcono wzmacnianiu (RL). Deklarowanym celem jest nauczenie się rozumowania o różnych algorytmach, od twierdzenia o gradiencie polityki po PPO, aż po nowsze warianty jak GSPO i CISPO. Książka pokazuje m.in., jak logika przycinania w PPO sprowadza się do sześciu regionów w zależności od znaku przewagi i wartości współczynnika polityki.
Tekst porusza także kwestie infrastruktury. Zdaniem autora, istotą współczesnego RL jest problem systemowy, polegający na zarządzaniu przesunięciem między danymi a bieżącą polityką, rozbieżnością między treningiem a inferencją oraz przepustowością. Architektura asynchroniczna, która oddziela GPU dedykowane uczeniu od tych dedykowanych generowaniu danych, pozostaje niezmieniona od kilku lat.
Rozdział poświęcony dystylacji, czyli wykorzystywaniu wyników jednego modelu do trenowania innego, przedstawiany jest jako sposób na wyjaśnienie praktyki często opisywanej w sposób kontrowersyjny. Książka śledzi ewolucję literatury o dystylacji od 2015 roku do dystylacji wielo-nauczycielskiej i on-policy, wykorzystywanej zdaniem autora przez Xiaomi MiMo-V2-Flash i DeepSeek V4.
Autor uważa również, że badania powinny przyciągać uwagę branżowych graczy. Zaznacza, że artykuł badawczy potrzebuje dziś od 3 do 9 miesięcy, aby trafić do czołowego modelu, podczas gdy wcześniej w dużych firmach technologicznych zajmowało to kilka lat. Jego zdaniem, książka ma pomóc czytelnikowi w identyfikacji prac, które naprawdę się liczą.
