Acaba de ser publicado um livro dedicado ao pós-treinamento de grandes modelos de linguagem. Intitulado Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, é publicado pela Manning e apresenta-se como o resultado de vários anos de trabalho sobre modelos abertos. O pós-treinamento designa o conjunto de etapas que seguem o treinamento inicial de um LLM (grande modelo de linguagem) para o orientar e aperfeiçoar.
- O livro aborda o pós-treinamento de grandes modelos de linguagem e privilegia as intuições e a história da área.
- Cerca de 25 % do conteúdo trata da aprendizagem por reforço, desde o gradiente de política até ao PPO e variantes recentes.
- O autor defende que o reforço moderno é sobretudo um problema de sistemas, ligado à gestão de dados, ao desfasamento e ao débito.
- O texto está disponível gratuitamente online e é acompanhado por um curso de 12 horas e por exemplos com exercícios.
Um livro que nasceu de um site
A obra tem origem num site web criado pelo autor, que mantém o blog Interconnects. Ele queria documentar métodos-chave do pós-treinamento para os quais quase não encontrava explicações online, incluindo temas como o rejection sampling, os outcome reward models ou o character training. O site, ainda considerado um dos poucos recursos que abordam estes temas de forma fundamental e intuitiva, tornou-se relativamente popular.
O livro privilegia as intuições e a história da área em vez de uma simples lista de equações. Dirige-se a um leitor que já tenha concluído uma licenciatura em informática, e não a um principiante. Parte do seu conteúdo retoma artigos antigos do blog, reescritos para ligar as noções matemáticas entre si. O autor esclarece que adicionou à última hora uma secção sobre a on-policy distillation, e reconhece que o título está um pouco datado.
O texto está também livremente acessível online. É acompanhado por um curso de 12 horas, disponível sob a forma de diapositivos e de vídeo no YouTube, por um código de exemplos com exercícios e comparações de conclusões de modelos. Segundo o editor, uma promoção de 50 % é válida no site da Manning até 19 de agosto, com o código PBLambert. O livro é expedido a partir da Manning e da Amazon Estados Unidos, e a partir da Amazon Reino Unido em outubro.
Aprendizagem por reforço e destilação
Cerca de 25 % do livro, em número de palavras como em páginas, é dedicado ao reforço (RL). O objetivo declarado é aprender a raciocinar sobre os diferentes algoritmos, desde o teorema do gradiente de política até ao PPO, e depois a variantes mais recentes como GSPO e CISPO. O livro mostra nomeadamente como a lógica do corte (clipping) do PPO se reduz a seis regiões consoante o sinal da vantagem e o valor do rácio de política.
O texto trata também da infraestrutura. Segundo o autor, o essencial do RL moderno é um problema de sistemas, que consiste em gerir o desfasamento entre dados e política corrente, o desvio entre treinamento e inferência, assim como o débito. A arquitetura assíncrona, que separa GPU dedicados à aprendizagem e outros dedicados à geração de dados, mantém-se semelhante há alguns anos.
O capítulo dedicado à destilação, isto é, a utilização das saídas de um modelo para treinar outro modelo, é apresentado como um meio de clarificar uma prática frequentemente descrita de forma polémica. O livro traça a passagem da literatura sobre destilação de 2015 para a destilação multi-professores e on-policy, utilizada segundo o autor pelo Xiaomi MiMo-V2-Flash e pelo DeepSeek V4.
O autor considera também que a investigação deve reter a atenção dos atores do setor. Indica que um artigo de investigação demora hoje 3 a 9 meses a integrar um modelo de ponta, contra vários anos anteriormente nas grandes empresas tecnológicas. O livro visa, segundo ele, ajudar o leitor a identificar os trabalhos que realmente contam.
