Od początku 2026 roku Anthropic, OpenAI i Biały Dom zarzucają kilku chińskim firmom, w tym DeepSeek i Moonshot, że „destylowały » ich modele. Jednak destylacja to przede wszystkim powszechna technika treningowa, którą laboratoria stosują na własnych modelach.
- Destylacja to powszechna technika, dzięki której mały model uczy się od dużego.
- Anthropic, OpenAI i Biały Dom oskarżają chińskie firmy, m.in. DeepSeek i Moonshot, o nielegalną destylację.
- Zarzuty dotyczą fałszywych kont, omijania ograniczeń i łamania warunków użytkowania.
- Brak ram prawnych sprawia, że to warunki użytkowania wyznaczają granicę między legalnym użyciem a kopią.
Po co trenować mały model na podstawie dużego?
Najwydajniejsze modele są również najdroższe w uruchomieniu, ponieważ każda odpowiedź wymaga znaczącej mocy obliczeniowej. Destylacja polega na nauczeniu małego modelu, zwanego „uczniem », tego, co potrafi duży model, zwany „nauczycielem ».
Idea ta została sformalizowana w marcu 2015 roku przez Geoffreya Hintona, przyszłego laureata Nagrody Nobla z fizyki, Oriola Vinyalsa i Jeffa Deana, wówczas pracujących w Google, w artykule badawczym, który dał nazwę technice. Aby zilustrować fakt, że model przypisuje prawdopodobieństwo każdej możliwej opcji, trzej badacze podają następujący przykład: „Obraz BMW ma jedynie bardzo niskie prawdopodobieństwo bycia wziętym za śmieciarkę, ale ten błąd jest nadal znacznie bardziej prawdopodobny niż pomylenie go z marchewką. »
Jak działa destylacja?
Stosowana do dużych modeli językowych, destylacja zazwyczaj przebiega w trzech etapach. Duży model najpierw otrzymuje bardzo dużą liczbę zapytań, wybranych zgodnie z pożądanymi umiejętnościami (kodowanie, matematyka, pisanie…), a jego odpowiedzi są zapisywane. Następnie uczeń uczy się je odtwarzać, po czym jest testowany, aby zmierzyć różnicę, która wciąż dzieli go od nauczyciela.
Od pojawienia się modeli rozumowania, szczególnie pożądany jest łańcuch rozumowania nauczyciela, ponieważ ujawnia on kroki prowadzące do odpowiedzi. W styczniu 2025 roku DeepSeek opublikował, obok swojego modelu R1, sześć mniejszych modeli zdestylowanych z niego, zbudowanych na rodzinach Qwen (Alibaba) i Llama (Meta).
Laboratoria amerykańskie i chińskie spierają się o destylację
W poście opublikowanym w lutym Anthropic oskarżył DeepSeek, Moonshot i MiniMax o destylację Claude’a na dużą skalę, z ponad 16 milionami wymian wygenerowanych za pomocą około 24 000 oszukańczych kont. W lipcu Michael Kratsios, doradca Białego Domu ds. nauki i technologii, stwierdził, że Moonshot zdestylował Claude Fable, aby stworzyć Kimi K3.
Pod koniec września OpenAI przypisał osobom powiązanym z tą samą firmą kampanię mającą na celu wydobycie rozumowania z jego modeli. 12 października Anthropic zapewnił, że jego nowe zabezpieczenia redukują o 90 do 99% dane rozumowania pozyskiwane przez te kampanie, są to liczby pochodzące z jego własnych pomiarów, których żaden niezależny audyt jeszcze nie potwierdził.
Zarzuty dotyczą warunków stosowania techniki: sieci oszukańczych kont, omijania ograniczeń dostępu, naruszania warunków użytkowania. Anthropic powołuje się również na bezpieczeństwo, ponieważ model zdestylowany w ten sposób ma niewielkie szanse na zachowanie zabezpieczeń swojego nauczyciela. Krytycy przypominają, że te laboratoria same trenowały swoje modele na treściach zebranych bez zgody ich autorów. Z braku ram prawnych właściwych dla destylacji, to obecnie warunki użytkowania dostawców wyznaczają granicę między użyciem legalnym a kopią.
