Sinds begin 2026 verwijten Anthropic, OpenAI en het Witte Huis verschillende Chinese bedrijven, waaronder DeepSeek en Moonshot, dat ze hun modellen hebben ‘gedistilleerd’. Toch is distillatie in de eerste plaats een courante trainingstechniek, die laboratoria op hun eigen modellen toepassen.
Waarom een klein model trainen op basis van een groot?
De best presterende modellen zijn ook het duurst om te draaien, omdat elk antwoord een aanzienlijke rekenkracht mobiliseert. Distillatie houdt in dat een klein model, de ‘leerling’, leert wat een groot model, de ‘leraar’, kan.
Het idee werd in maart 2015 geformaliseerd door Geoffrey Hinton, toekomstig Nobelprijswinnaar natuurkunde, Oriol Vinyals en Jeff Dean, toen werkzaam bij Google, in een onderzoeksartikel dat zijn naam aan de techniek gaf. Om te illustreren dat een model een waarschijnlijkheid toekent aan elke mogelijke optie, nemen de drie onderzoekers het volgende voorbeeld: « Een afbeelding van een BMW heeft slechts een zeer lage kans om aangezien te worden voor een vuilniswagen, maar die fout blijft aanzienlijk waarschijnlijker dan hem te verwarren met een wortel. »
Hoe werkt distillatie?
Toegepast op grote taalmmodellen volgt distillatie doorgaans drie stappen. Het grote model krijgt eerst een zeer groot volume aan verzoeken, gekozen volgens de beoogde vaardigheden (code, wiskunde, schrijven…), en zijn antwoorden worden bewaard. De leerling leert ze vervolgens te reproduceren, waarna hij wordt getest om het verschil te meten dat hem nog van zijn leraar scheidt.
Sinds de komst van redeneermodellen is de redeneerketen van de leraar bijzonder gewild, omdat deze de stappen blootlegt die tot een antwoord leiden. In januari 2025 publiceerde DeepSeek, naast zijn model R1, zes kleinere modellen die daaruit waren gedistilleerd, gebouwd op de families Qwen (Alibaba) en Llama (Meta).
Amerikaanse en Chinese laboratoria staan tegenover elkaar over distillatie
In een bericht gepubliceerd in februari beschuldigde Anthropic DeepSeek, Moonshot en MiniMax ervan Claude op grote schaal te hebben gedistilleerd, met meer dan 16 miljoen uitwisselingen gegenereerd via ongeveer 24.000 frauduleuze accounts. In juli beweerde Michael Kratsios, adviseur van het Witte Huis voor wetenschap en technologie, dat Moonshot Claude Fable had gedistilleerd om Kimi K3 te ontwerpen.
Eind september schreef OpenAI een campagne toe aan personen gelieerd aan hetzelfde bedrijf, gericht op het extraheren van de redenering van zijn modellen. Op 12 oktober verzekerde Anthropic dat zijn nieuwe beschermingen de door deze campagnes verzamelde redeneergegevens met 90 tot 99% verminderden, cijfers afkomstig van eigen metingen, die nog door geen enkele onafhankelijke audit zijn bevestigd.
De grieven hebben betrekking op de voorwaarden voor het gebruik van de techniek: netwerken van frauduleuze accounts, omzeiling van toegangsbeperkingen, schending van gebruiksvoorwaarden. Anthropic beroept zich ook op veiligheid, aangezien een op deze manier gedistilleerd model weinig kans maakt de veiligheidsmaatregelen van zijn leraar te behouden. Critici herinneren eraan dat deze laboratoria zelf hun modellen hebben getraind op inhoud die zonder toestemming van de auteurs is verzameld. Bij gebrek aan een juridisch kader specifiek voor distillatie, zijn het voorlopig de gebruiksvoorwaarden van de aanbieders die de grens trekken tussen legitiem gebruik en kopie.
