Acaba de publicarse un libro dedicado al post-entrenamiento de los grandes modelos de lenguaje. Titulado Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs, está publicado por Manning y se presenta como el fruto de varios años de trabajo sobre modelos abiertos. El post-entrenamiento designa el conjunto de etapas que siguen al entrenamiento inicial de un LLM (gran modelo de lenguaje) para orientarlo y afinarlo.
- El libro explica el post-entrenamiento de los grandes modelos de lenguaje.
- Prioriza las intuiciones y la historia del campo, y se dirige a lectores con formación en informática.
- Dedica cerca del 25 % al aprendizaje por refuerzo, desde PPO hasta GSPO y CISPO.
- Explica la destilación y muestra que la investigación tarda de 3 a 9 meses en llegar a los modelos punteros.
Un libro surgido de un sitio web
La obra tiene su origen en un sitio web creado por el autor, que lleva el blog Interconnects. Quería documentar métodos clave del post-entrenamiento para los que apenas encontraba explicaciones en línea, incluyendo temas como el rejection sampling, los outcome reward models o el character training. El sitio, aún considerado uno de los pocos recursos que abordan estos temas de forma fundamental e intuitiva, se ha vuelto relativamente popular.
El libro privilegia las intuiciones y la historia del campo en lugar de la simple lista de ecuaciones. Se dirige a un lector que ya haya completado una licenciatura en informática, y no a un principiante. Parte de su contenido retoma antiguos artículos del blog, reelaborados para conectar las nociones matemáticas entre sí. El autor precisa haber añadido en el último momento una sección sobre la on-policy distillation, y reconoce que el título está un poco desfasado.
El texto también es accesible gratuitamente en línea. Va acompañado de un curso de 12 horas, disponible en forma de diapositivas y vídeo en YouTube, de un código de ejemplos con ejercicios y comparaciones de completados de modelos. Según el editor, una promoción del 50 % es válida en el sitio de Manning hasta el 19 de agosto, con el código PBLambert. El libro se envía desde Manning y Amazon Estados Unidos, y desde Amazon Reino Unido en octubre.
Aprendizaje por refuerzo y destilación
Aproximadamente el 25 % del libro, en número de palabras como en páginas, está dedicado al refuerzo (RL). El objetivo declarado es aprender a razonar sobre los diferentes algoritmos, desde el teorema del gradiente de política hasta PPO, y luego a variantes más recientes como GSPO y CISPO. El libro muestra en particular cómo la lógica del recorte de PPO se reduce a seis regiones según el signo de la ventaja y el valor del ratio de política.
El texto también trata de la infraestructura. Según el autor, lo esencial del RL moderno es un problema de sistemas, que consiste en gestionar el desfase entre datos y política actual, la diferencia entre entrenamiento e inferencia, así como el rendimiento. La arquitectura asíncrona, que separa GPU dedicados al aprendizaje y otros dedicados a la generación de datos, se ha mantenido similar desde hace algunos años.
El capítulo dedicado a la destilación, es decir, el uso de las salidas de un modelo para entrenar a otro modelo, se presenta como un medio para clarificar una práctica a menudo descrita de manera polémica. El libro traza el paso de la literatura sobre destilación de 2015 a la destilación multi-profesores y on-policy, utilizada según el autor por Xiaomi MiMo-V2-Flash y DeepSeek V4.
El autor estima también que la investigación debe retener la atención de los actores del sector. Indica que un artículo de investigación tarda hoy de 3 a 9 meses en integrarse en un modelo puntero, frente a varios años antes en las grandes empresas tecnológicas. El libro pretende, según él, ayudar al lector a identificar los trabajos que realmente importan.
