Desde o início de 2026, a Anthropic, a OpenAI e a Casa Branca acusam várias empresas chinesas, incluindo a DeepSeek e a Moonshot, de terem «destilado» os seus modelos. No entanto, a destilação é, em primeiro lugar, uma técnica de treino comum, que os laboratórios aplicam aos seus próprios modelos.
Por que treinar um modelo pequeno a partir de um grande?
Os modelos mais eficazes são também os mais dispendiosos de operar, porque cada resposta mobiliza uma potência de cálculo significativa. A destilação consiste em fazer com que um modelo pequeno, denominado «aluno», aprenda o que um modelo grande, denominado «professor», sabe fazer.
A ideia foi formalizada em março de 2015 por Geoffrey Hinton, futuro Prémio Nobel da Física, Oriol Vinyals e Jeff Dean, então na Google, num artigo de investigação que deu o nome à técnica. Para ilustrar o facto de um modelo atribuir uma probabilidade a cada opção possível, os três investigadores dão o seguinte exemplo: «Uma imagem de um BMW tem apenas uma probabilidade muito baixa de ser confundida com um camião do lixo, mas esse erro continua a ser significativamente mais provável do que confundi-la com uma cenoura.»
Como funciona a destilação?
Aplicada aos grandes modelos de linguagem, a destilação segue geralmente três etapas. O modelo grande recebe primeiro um volume muito grande de pedidos, escolhidos de acordo com as competências visadas (código, matemática, redação…), e as suas respostas são conservadas. O aluno aprende depois a reproduzi-las, sendo depois testado para medir o desvio que ainda o separa do seu professor.
Desde o aparecimento dos modelos de raciocínio, a cadeia de raciocínio do professor é particularmente cobiçada, porque expõe as etapas que conduzem a uma resposta. Em janeiro de 2025, a DeepSeek publicou, juntamente com o seu modelo R1, seis modelos mais pequenos destilados a partir dele, construídos sobre as famílias Qwen (Alibaba) e Llama (Meta).
Laboratórios norte-americanos e chineses opõem-se quanto à destilação
Num artigo publicado em fevereiro, a Anthropic acusou a DeepSeek, a Moonshot e a MiniMax de terem destilado o Claude em grande escala, com mais de 16 milhões de trocas geradas através de cerca de 24 mil contas fraudulentas. Em julho, Michael Kratsios, conselheiro da Casa Branca para a ciência e tecnologia, afirmou que a Moonshot tinha destilado o Claude Fable para conceber o Kimi K3.
No final de setembro, a OpenAI atribuiu a pessoas ligadas à mesma empresa uma campanha destinada a extrair o raciocínio dos seus modelos. A 12 de outubro, a Anthropic garantiu que as suas novas proteções reduzem em 90 a 99% os dados de raciocínio recuperados por essas campanhas, números provenientes das suas próprias medições, que nenhuma auditoria independente confirmou ainda.
As queixas incidem sobre as condições de utilização da técnica: redes de contas fraudulentas, contornar as restrições de acesso, violação dos termos de utilização. A Anthropic invoca também a segurança, já que um modelo destilado desta forma tem poucas probabilidades de conservar as salvaguardas do seu professor. As críticas recordam que estes laboratórios treinaram eles próprios os seus modelos com conteúdos recolhidos sem o consentimento dos seus autores. Na ausência de um quadro jurídico próprio para a destilação, são, por enquanto, as condições de utilização dos fornecedores que traçam a fronteira entre uso legítimo e cópia.
