大規模言語モデルのポストトレーニングに特化した書籍が刊行されました。『Reinforcement Learning from Human Feedback: Aligning and Post-training LLMs』と題された本書はManningより出版され、オープンモデルに関する数年にわたる研究の成果と位置づけられています。ポストトレーニングとは、初期訓練後のLLM（大規模言語モデル）を方向付け、洗練させる一連の工程を指します。
ウェブサイトから生まれた書籍
本書は、著者が運営するブログ「Interconnects」を起源としています。著者は、リジェクションサンプリング、アウトカム報酬モデル、キャラクタートレーニングといった主題を含め、オンライン上でほとんど解説が見られないポストトレーニングの主要手法を文書化したいと考えていました。このサイトは、これらのテーマを基礎的かつ直感的に扱う数少ない情報源の一つとして依然評価されており、一定の人気を集めています。
本書は単なる数式の羅列ではなく、直感的理解と分野の歴史的経緯を重視しています。読者対象はコンピュータサイエンスの学士号を取得済みの層であり、初心者向けではありません。内容の一部はブログの過去記事を再構成したもので、数学的概念間の関連性を明確にするために改訂されています。著者は、最終段階で方策オン蒸留に関するセクションを追加したこと、またタイトルがやや時代遅れであることを認めています。
テキストはまた、オンラインで無料公開されています。12時間分の講義資料（スライドとYouTube動画）、サンプルコードと演習問題、モデル補完の比較資料が付属しています。出版社によると、Manningのサイトでは8月19日までコード「PBLambert」で50%割引が適用されます。書籍はManningおよび米国Amazonからの発送となり、10月からは英国Amazonでも入手可能です。
強化学習と蒸留
本書の約25%（語数およびページ数ベース）が強化学習（RL）に割かれています。目標は、方策勾配定理からPPO、さらにGSPOやCISPOといったより新しい変種まで、様々なアルゴリズムについて論理的に考察する力を養うことです。特に、PPOのクリッピングロジックが、アドバンテージの符号と方策比率の値に基づいて6つの領域に帰着する仕組みを示しています。
本書はインフラストラクチャーについても論じています。著者によれば、現代のRLの核心はシステム問題であり、データと現在の方策のずれ、訓練と推論の乖離、そしてスループットの管理が課題となります。学習専用のGPUとデータ生成専用のGPUを分離する非同期アーキテクチャは、ここ数年ほぼ変わっていません。
蒸留（あるモデルの出力を用いて別のモデルを訓練する手法）に充てられた章は、しばしば論争的に語られるこの実践を明確化する手段として位置づけられています。本書は、2015年頃の蒸留に関する文献から、著者によればXiaomi MiMo-V2-FlashやDeepSeek V4で使用されているマルチティーチャー蒸留および方策オン蒸留への変遷を追っています。
著者はまた、業界関係者は研究動向に注意を払うべきだと述べています。今日では研究論文が3〜9か月で最先端モデルに組み込まれる一方、以前の大規模テクノロジー企業では数年を要していたと指摘します。本書の目的は、読者が真に重要な研究を見極める手助けをすることにあるとしています。
