Un libro dedicato al post-training dei grandi modelli linguistici è appena uscito. Intitolato Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, è pubblicato da Manning e si presenta come il frutto di diversi anni di lavoro sui modelli aperti. Il post-training indica l’insieme delle fasi che seguono l’addestramento iniziale di un LLM (grande modello linguistico) per orientarlo e affinarlo.
- Il libro sul post-training degli LLM è appena uscito per Manning.
- Nasce da un sito web dell’autore ed è liberamente consultabile online.
- Un quarto del libro tratta il reinforcement learning, da PPO fino a GSPO e CISPO.
- Il libro spiega la distillazione e mostra che la ricerca impiega 3-9 mesi per entrare nei modelli d’avanguardia.
Un libro nato da un sito
L’opera ha origine da un sito web creato dall’autore, che gestisce il blog Interconnects. Voleva documentare metodi chiave del post-training per i quali trovava quasi nessuna spiegazione online, inclusi argomenti come il rejection sampling, gli outcome reward models o il character training. Il sito, ancora considerato una delle poche risorse che affrontano questi temi in modo fondamentale e intuitivo, è diventato relativamente popolare.
Il libro privilegia le intuizioni e la storia del campo piuttosto che la semplice lista di equazioni. Si rivolge a un lettore che ha già completato una laurea in informatica, non a un principiante. Parte del suo contenuto riprende vecchi articoli del blog, rielaborati per collegare tra loro le nozioni matematiche. L’autore precisa di aver aggiunto all’ultimo momento una sezione sulla on-policy distillation, e riconosce che il titolo è un po’ datato.
Il testo è anche liberamente accessibile online. È accompagnato da un corso di 12 ore, disponibile sotto forma di diapositive e video su YouTube, da un codice di esempi corredato di esercizi e confronti di completamenti di modelli. Secondo l’editore, una promozione del 50% è valida sul sito di Manning fino al 19 agosto, con il codice PBLambert. Il libro viene spedito da Manning e Amazon Stati Uniti, e da Amazon Regno Unito a ottobre.
Apprendimento per rinforzo e distillazione
Circa il 25% del libro, in numero di parole come in pagine, è dedicato al rinforzo (RL). L’obiettivo dichiarato è imparare a ragionare sui diversi algoritmi, dal teorema del gradiente di politica a PPO, fino a varianti più recenti come GSPO e CISPO. Il libro mostra in particolare come la logica del clipping di PPO si riduca a sei regioni a seconda del segno del vantaggio e del valore del rapporto di politica.
Il testo tratta anche dell’infrastruttura. Secondo l’autore, l’essenziale del RL moderno è un problema di sistemi, che consiste nel gestire lo sfasamento tra dati e politica corrente, lo scarto tra addestramento e inferenza, nonché la velocità di elaborazione. L’architettura asincrona, che separa GPU dedicati all’apprendimento e altri dedicati alla generazione dei dati, è rimasta simile da alcuni anni.
Il capitolo dedicato alla distillazione, cioè l’utilizzo delle uscite di un modello per addestrare un altro modello, è presentato come un modo per chiarire una pratica spesso descritta in modo polemico. Il libro ripercorre il passaggio dalla letteratura sulla distillazione del 2015 alla distillazione multi-insegnanti e on-policy, utilizzata secondo l’autore da Xiaomi MiMo-V2-Flash e DeepSeek V4.
L’autore ritiene inoltre che la ricerca debba attirare l’attenzione degli attori del settore. Indica che oggi un articolo di ricerca impiega 3-9 mesi prima di essere integrato in un modello all’avanguardia, contro diversi anni prima nelle grandi aziende tecnologiche. Il libro mira, a suo dire, ad aiutare il lettore a identificare i lavori che contano davvero.
