Depuis le début de 2026, Anthropic, OpenAI et la Maison-Blanche reprochent à plusieurs entreprises chinoises, dont DeepSeek et Moonshot, d’avoir « distillé » leurs modèles. Pourtant, la distillation est d’abord une technique d’entraînement courante, que les laboratoires appliquent à leurs propres modèles.
- La distillation consiste à faire apprendre à un petit modèle ce que sait faire un grand modèle.
- Les laboratoires l’utilisent eux-mêmes sur leurs propres modèles, pour les rendre moins coûteux à faire tourner.
- Depuis 2026, Anthropic et OpenAI accusent des entreprises chinoises de distiller leurs modèles en violation de leurs conditions d’utilisation.
- Faute de cadre juridique propre à la distillation, ce sont les conditions d’utilisation qui fixent la limite entre usage légitime et copie.
Pourquoi entraîner un petit modèle à partir d’un grand ?
Les modèles les plus performants sont aussi les plus coûteux à faire tourner, car chaque réponse mobilise une puissance de calcul importante. La distillation consiste à faire apprendre à un petit modèle, dit « élève », ce que sait faire un grand, dit « professeur ».
L’idée a été formalisée en mars 2015 par Geoffrey Hinton, futur prix Nobel de physique, Oriol Vinyals et Jeff Dean, alors chez Google, dans un article de recherche qui a donné son nom à la technique. Pour illustrer le fait qu’un modèle attribue une probabilité à chaque option possible, les trois chercheurs prennent l’exemple suivant : « Une image de BMW n’a qu’une très faible probabilité d’être prise pour un camion poubelle, mais cette erreur reste nettement plus probable que de la confondre avec une carotte. »
Comment fonctionne la distillation ?
Appliquée aux grands modèles de langage, la distillation suit généralement trois étapes. Le grand modèle reçoit d’abord un très grand volume de requêtes, choisies selon les compétences visées (code, mathématiques, rédaction…), et ses réponses sont conservées. L’élève apprend ensuite à les reproduire, puis il est testé pour mesurer l’écart qui le sépare encore de son professeur.
Depuis l’arrivée des modèles de raisonnement, la chaîne de raisonnement du professeur est particulièrement convoitée, car elle expose les étapes menant à une réponse. En janvier 2025, DeepSeek a publié, aux côtés de son modèle R1, six modèles plus petits distillés à partir de lui, construits sur les familles Qwen (Alibaba) et Llama (Meta).
Laboratoires américains et chinois s’opposent sur la distillation
Dans un billet publié en février, Anthropic accusait DeepSeek, Moonshot et MiniMax d’avoir distillé Claude à grande échelle, avec plus de 16 millions d’échanges générés via environ 24 000 comptes frauduleux. En juillet, Michael Kratsios, conseiller de la Maison-Blanche pour la science et la technologie, a affirmé que Moonshot avait distillé Claude Fable pour concevoir Kimi K3.
Fin septembre, OpenAI a attribué à des personnes liées à la même entreprise une campagne visant à extraire le raisonnement de ses modèles. Le 12 octobre, Anthropic a assuré que ses nouvelles protections réduisaient de 90 à 99 % les données de raisonnement récupérées par ces campagnes, des chiffres issus de ses propres mesures, qu’aucun audit indépendant n’a encore confirmés.
Les griefs portent sur les conditions d’emploi de la technique : réseaux de comptes frauduleux, contournement des restrictions d’accès, violation des conditions d’utilisation. Anthropic invoque aussi la sécurité, un modèle distillé de cette façon ayant peu de chances de conserver les garde-fous de son professeur. Les critiques rappellent que ces laboratoires ont eux-mêmes entraîné leurs modèles sur des contenus collectés sans l’accord de leurs auteurs. Faute de cadre juridique propre à la distillation, ce sont pour l’instant les conditions d’utilisation des fournisseurs qui tracent la limite entre usage légitime et copie.
