Desde principios de 2026, Anthropic, OpenAI y la Casa Blanca han acusado a varias empresas chinas, incluidas DeepSeek y Moonshot, de haber « distilado » sus modelos. Sin embargo, la distilación es en primer lugar una técnica de entrenamiento común, que los laboratorios aplican a sus propios modelos.
- La distilación entrena un modelo pequeño para imitar a uno grande.
- Los laboratorios también la aplican a sus propios modelos.
- Anthropic, OpenAI y la Casa Blanca acusan a empresas chinas de haber distilado sus modelos.
- Las condiciones de uso de los proveedores marcan hoy el límite entre uso legítimo y copia.
¿Por qué entrenar un modelo pequeño a partir de uno grande?
Los modelos más potentes también son los más costosos de ejecutar, porque cada respuesta moviliza una potencia de cálculo importante. La distilación consiste en hacer que un modelo pequeño, llamado « alumno », aprenda lo que sabe hacer uno grande, llamado « profesor ».
La idea fue formalizada en marzo de 2015 por Geoffrey Hinton, futuro premio Nobel de física, Oriol Vinyals y Jeff Dean, entonces en Google, en un artículo de investigación que dio nombre a la técnica. Para ilustrar el hecho de que un modelo atribuye una probabilidad a cada opción posible, los tres investigadores toman el siguiente ejemplo: «Una imagen de un BMW tiene una probabilidad muy baja de ser confundida con un camión de basura, pero este error sigue siendo notablemente más probable que confundirla con una zanahoria».
¿Cómo funciona la distilación?
Aplicada a los grandes modelos de lenguaje, la distilación sigue generalmente tres etapas. Primero, el modelo grande recibe un volumen muy grande de consultas, elegidas según las habilidades buscadas (código, matemáticas, redacción…), y sus respuestas se conservan. Luego, el alumno aprende a reproducirlas, y después se le prueba para medir la diferencia que aún lo separa de su profesor.
Desde la llegada de los modelos de razonamiento, la cadena de razonamiento del profesor es especialmente codiciada, porque expone los pasos que conducen a una respuesta. En enero de 2025, DeepSeek publicó, junto a su modelo R1, seis modelos más pequeños destilados a partir de él, construidos sobre las familias Qwen (Alibaba) y Llama (Meta).
Laboratorios estadounidenses y chinos se enfrentan por la distilación
En una publicación de febrero, Anthropic acusó a DeepSeek, Moonshot y MiniMax de haber destilado Claude a gran escala, con más de 16 millones de intercambios generados mediante aproximadamente 24.000 cuentas fraudulentas. En julio, Michael Kratsios, asesor de la Casa Blanca para la ciencia y la tecnología, afirmó que Moonshot había destilado Claude Fable para diseñar Kimi K3.
A finales de septiembre, OpenAI atribuyó a personas vinculadas a la misma empresa una campaña dirigida a extraer el razonamiento de sus modelos. El 12 de octubre, Anthropic aseguró que sus nuevas protecciones reducían entre un 90 y un 99 % los datos de razonamiento recuperados por estas campañas, cifras procedentes de sus propias mediciones, que ningún auditor independiente ha confirmado aún.
Los agravios se refieren a las condiciones de empleo de la técnica: redes de cuentas fraudulentas, elusión de las restricciones de acceso, violación de las condiciones de uso. Anthropic también alega la seguridad, ya que un modelo destilado de esta manera tiene pocas probabilidades de conservar las salvaguardias de su profesor. Los críticos recuerdan que estos laboratorios han entrenado sus propios modelos con contenidos recopilados sin el consentimiento de sus autores. A falta de un marco jurídico específico para la distilación, son por ahora las condiciones de uso de los proveedores las que trazan el límite entre uso legítimo y copia.
