Dall’inizio del 2026, Anthropic, OpenAI e la Casa Bianca accusano diverse aziende cinesi, tra cui DeepSeek e Moonshot, di aver « distillato » i loro modelli. Eppure, la distillazione è innanzitutto una comune tecnica di addestramento, che i laboratori applicano ai propri modelli.
Perché addestrare un modello piccolo a partire da uno grande?
I modelli più performanti sono anche i più costosi da far funzionare, perché ogni risposta richiede una potenza di calcolo significativa. La distillazione consiste nel far apprendere a un modello piccolo, detto « allievo », ciò che sa fare uno grande, detto « professore ».
L’idea è stata formalizzata nel marzo 2015 da Geoffrey Hinton, futuro premio Nobel per la fisica, Oriol Vinyals e Jeff Dean, allora in Google, in un articolo di ricerca che ha dato il nome alla tecnica. Per illustrare il fatto che un modello attribuisce una probabilità a ogni opzione possibile, i tre ricercatori prendono l’esempio seguente: «Un’immagine di una BMW ha solo una probabilità molto bassa di essere scambiata per un camion della spazzatura, ma questo errore rimane nettamente più probabile che confonderla con una carota.»
Come funziona la distillazione?
Applicata ai grandi modelli linguistici, la distillazione segue generalmente tre fasi. Il modello grande riceve prima un volume molto ampio di richieste, scelte in base alle competenze mirate (codice, matematica, scrittura…), e le sue risposte vengono conservate. L’allievo impara poi a riprodurle, quindi viene testato per misurare il divario che ancora lo separa dal suo professore.
Dall’avvento dei modelli di ragionamento, la catena di ragionamento del professore è particolarmente ambita, perché espone i passaggi che portano a una risposta. Nel gennaio 2025, DeepSeek ha pubblicato, insieme al suo modello R1, sei modelli più piccoli distillati a partire da esso, costruiti sulle famiglie Qwen (Alibaba) e Llama (Meta).
Laboratori americani e cinesi si oppongono sulla distillazione
In un post pubblicato a febbraio, Anthropic accusava DeepSeek, Moonshot e MiniMax di aver distillato Claude su larga scala, con oltre 16 milioni di scambi generati tramite circa 24.000 account fraudolenti. A luglio, Michael Kratsios, consigliere della Casa Bianca per la scienza e la tecnologia, ha affermato che Moonshot aveva distillato Claude Fable per progettare Kimi K3.
A fine settembre, OpenAI ha attribuito a persone legate alla stessa azienda una campagna volta a estrarre il ragionamento dei suoi modelli. Il 12 ottobre, Anthropic ha assicurato che le sue nuove protezioni riducono dal 90 al 99% i dati di ragionamento recuperati da queste campagne, cifre provenienti dalle sue stesse misurazioni, che nessun audit indipendente ha ancora confermato.
Le rimostranze riguardano le condizioni di impiego della tecnica: reti di account fraudolenti, elusione delle restrizioni di accesso, violazione delle condizioni d’uso. Anthropic invoca anche la sicurezza, poiché un modello distillato in questo modo ha poche probabilità di conservare i guardrail del suo professore. Le critiche ricordano che questi laboratori hanno essi stessi addestrato i propri modelli su contenuti raccolti senza il consenso dei loro autori. In mancanza di un quadro giuridico proprio della distillazione, sono per il momento le condizioni d’uso dei fornitori a tracciare il limite tra uso legittimo e copia.
