С начала 2026 года Anthropic, OpenAI и Белый дом обвиняют ряд китайских компаний, включая DeepSeek и Moonshot, в «дистилляции» их моделей. Однако дистилляция — это прежде всего распространенная техника обучения, которую лаборатории применяют к собственным моделям.
Зачем обучать маленькую модель на основе большой?
Самые производительные модели также и самые дорогие в эксплуатации, поскольку каждый ответ требует значительных вычислительных мощностей. Дистилляция заключается в том, чтобы научить маленькую модель, называемую «учеником», тому, что умеет делать большая, называемая «учителем».
Идея была формализована в марте 2015 года Джеффри Хинтоном, будущим нобелевским лауреатом по физике, Ориолом Виньялсом и Джеффом Дином, тогда работавшими в Google, в исследовательской статье, которая дала название технике. Чтобы проиллюстрировать, как модель присваивает вероятность каждому возможному варианту, трое исследователей приводят следующий пример: «Изображение BMW имеет лишь очень низкую вероятность быть принятым за мусоровоз, но эта ошибка всё же значительно более вероятна, чем перепутать его с морковью».
Как работает дистилляция?
Применяемая к большим языковым моделям, дистилляция обычно следует трем этапам. Сначала большая модель получает очень большой объем запросов, выбранных в соответствии с целевыми навыками (код, математика, написание текста…), и её ответы сохраняются. Затем ученик учится их воспроизводить, после чего его тестируют, чтобы измерить разрыв, который всё ещё отделяет его от учителя.
С появлением моделей рассуждения цепочка рассуждений учителя особенно востребована, поскольку она раскрывает шаги, ведущие к ответу. В январе 2025 года DeepSeek опубликовала вместе со своей моделью R1 шесть более мелких моделей, дистиллированных на её основе, построенных на семействах Qwen (Alibaba) и Llama (Meta).
Американские и китайские лаборатории спорят о дистилляции
В записи, опубликованной в феврале, Anthropic обвинила DeepSeek, Moonshot и MiniMax в крупномасштабной дистилляции Claude с использованием более 16 миллионов обменов, сгенерированных через примерно 24 000 фальшивых аккаунтов. В июле Майкл Крациос, советник Белого дома по науке и технологиям, заявил, что Moonshot дистиллировала Claude Fable для создания Kimi K3.
В конце сентября OpenAI приписала лицам, связанным с той же компанией, кампанию по извлечению цепочек рассуждений из своих моделей. 12 октября Anthropic заявила, что её новые средства защиты сокращают на 90–99% данные рассуждений, получаемые в ходе таких кампаний, — цифры, основанные на её собственных замерах, которые ещё не подтверждены независимым аудитом.
Претензии касаются условий применения техники: сети фальшивых аккаунтов, обход ограничений доступа, нарушение условий использования. Anthropic также ссылается на безопасность, поскольку модель, дистиллированная таким способом, вряд ли сохранит защитные механизмы своего учителя. Критики напоминают, что эти лаборатории сами обучали свои модели на контенте, собранном без согласия авторов. В отсутствие правовых рамок, специфичных для дистилляции, именно условия использования поставщиков пока очерчивают границу между законным использованием и копированием.
