2026年初頭以来、Anthropic、OpenAI、そしてホワイトハウスは、DeepSeekやMoonshotを含む複数の中国企業が彼らのモデルを「蒸留」したと非難している。しかし、蒸留はそもそも一般的な学習技術であり、研究所が自社のモデルに適用しているものである。
なぜ大きなモデルから小さなモデルを学習させるのか？
最も高性能なモデルは、応答ごとに膨大な計算資源を必要とするため、運用コストも最も高い。蒸留とは、小さなモデル（「生徒」モデル）に、大きなモデル（「教師」モデル）ができることを学習させる技術である。
このアイデアは、2015年3月、後にノーベル物理学賞を受賞するジェフリー・ヒントン、当時Googleに在籍していたオリオル・ビニャルスとジェフ・ディーンによって、技術の名前の由来となった研究論文で形式化された。モデルが可能な各選択肢に確率を割り当てることを説明するため、3人の研究者は次の例を挙げている：「BMWの画像がゴミ収集車と間違われる確率は非常に低いが、その誤りはニンジンと間違われるよりも明らかに確率が高い。」
蒸留はどのように機能するのか？
大規模言語モデルに適用される蒸留は、通常3つの段階を経る。まず、教師モデルは、目標とする能力（コード、数学、文章作成など）に応じて選ばれた膨大な量のクエリを受け取り、その応答が保存される。次に、生徒モデルがそれらの応答を再現することを学習し、その後、教師モデルとの間にまだ存在する差を測定するためにテストされる。
推論モデルの登場以来、教師モデルの推論チェーンは、回答に至るまでの段階を明らかにするため、特に狙われるようになった。2025年1月、DeepSeekは、自社のR1モデルと並んで、そこから蒸留された6つのより小さなモデル（Qwen（Alibaba）およびLlama（Meta）ファミリーを基盤とする）を公開した。
米国と中国の研究所が蒸留をめぐり対立
2月に公開された記事で、AnthropicはDeepSeek、Moonshot、MiniMaxが、約24,000の不正なアカウントを通じて生成された1,600万回以上のやり取りを用いて、Claudeを大規模に蒸留したと非難した。7月には、ホワイトハウスの科学技術顧問であるマイケル・クラツィオスが、MoonshotがClaude Fableを蒸留してKimi K3を設計したと主張した。
9月末、OpenAIは、自社モデルの推論を抽出することを目的としたキャンペーンを、同じ企業に関連する人物によるものだと断定した。10月12日、Anthropicは、新たな保護策により、これらのキャンペーンによって回収される推論データが90%から99%減少したと発表した。これらの数値は同社自身の測定に基づくものであり、独立した監査によってまだ確認されていない。
非難の対象は、技術が使用される条件にある：不正なアカウントネットワーク、アクセス制限の回避、利用規約違反。Anthropicはまた、この方法で蒸留されたモデルは、教師モデルの安全対策を保持する可能性が低いとして、セキュリティを理由に挙げている。批判側は、これらの研究所自身も、著作者の同意なく収集されたコンテンツで自社モデルを学習させてきたことを指摘する。蒸留に特化した法的枠組みがないため、現時点では、正当な使用とコピーとの境界線は、プロバイダーの利用規約によって引かれている。
