Seit Anfang 2026 werfen Anthropic, OpenAI und das Weiße Haus mehreren chinesischen Unternehmen, darunter DeepSeek und Moonshot, vor, deren Modelle « destilliert » zu haben. Dabei ist die Distillation zunächst eine gängige Trainingstechnik, die Labore auf ihre eigenen Modelle anwenden.
Warum ein kleines Modell auf Basis eines großen trainieren?
Die leistungsfähigsten Modelle sind auch die kostspieligsten im Betrieb, da jede Antwort erhebliche Rechenleistung beansprucht. Bei der Distillation lernt ein kleines Modell, genannt « Schüler », das, was ein großes Modell, genannt « Lehrer », kann.
Die Idee wurde im März 2015 von Geoffrey Hinton, dem späteren Nobelpreisträger für Physik, Oriol Vinyals und Jeff Dean, damals bei Google, in einem Forschungsartikel formalisiert, der der Technik ihren Namen gab. Um zu veranschaulichen, dass ein Modell jeder möglichen Option eine Wahrscheinlichkeit zuordnet, nehmen die drei Forscher folgendes Beispiel: « Ein Bild eines BMW hat nur eine sehr geringe Wahrscheinlichkeit, für einen Müllwagen gehalten zu werden, aber dieser Fehler ist immer noch deutlich wahrscheinlicher, als ihn mit einer Karotte zu verwechseln. »
Wie funktioniert die Distillation?
Bei großen Sprachmodellen folgt die Distillation in der Regel drei Schritten. Zunächst erhält das große Modell eine sehr große Menge an Anfragen, die nach den gewünschten Fähigkeiten (Code, Mathematik, Textverfassung usw.) ausgewählt werden, und seine Antworten werden gespeichert. Anschließend lernt der Schüler, diese zu reproduzieren, und wird dann getestet, um die verbleibende Abweichung zum Lehrer zu messen.
Seit dem Aufkommen von Reasoning-Modellen ist die Denkkette des Lehrers besonders begehrt, da sie die Schritte zur Antwort offenlegt. Im Januar 2025 veröffentlichte DeepSeek neben seinem R1-Modell sechs kleinere, daraus destillierte Modelle, die auf den Familien Qwen (Alibaba) und Llama (Meta) basieren.
Amerikanische und chinesische Labore streiten über die Distillation
In einem im Februar veröffentlichten Beitrag beschuldigte Anthropic DeepSeek, Moonshot und MiniMax, Claude in großem Maßstab destilliert zu haben, mit über 16 Millionen über etwa 24.000 betrügerische Konten generierten Austauschen. Im Juli behauptete Michael Kratsios, Berater des Weißen Hauses für Wissenschaft und Technologie, dass Moonshot Claude Fable destilliert habe, um Kimi K3 zu entwickeln.
Ende September schrieb OpenAI Personen, die mit demselben Unternehmen in Verbindung stehen, eine Kampagne zu, die darauf abzielte, das Reasoning seiner Modelle zu extrahieren. Am 12. Oktober versicherte Anthropic, dass seine neuen Schutzmaßnahmen die durch solche Kampagnen erlangten Reasoning-Daten um 90 bis 99 % reduzierten – Zahlen aus eigenen Messungen, die noch von keiner unabhängigen Prüfung bestätigt wurden.
Die Vorwürfe betreffen die Anwendungsbedingungen der Technik: Netzwerke betrügerischer Konten, Umgehung von Zugangsbeschränkungen, Verletzung der Nutzungsbedingungen. Anthropic beruft sich auch auf Sicherheit, da ein auf diese Weise destilliertes Modell kaum die Schutzvorkehrungen seines Lehrers beibehalten dürfte. Kritiker erinnern daran, dass diese Labore ihre eigenen Modelle mit Inhalten trainiert haben, die ohne Zustimmung der Urheber gesammelt wurden. Mangels eines spezifischen rechtlichen Rahmens für die Distillation sind es derzeit die Nutzungsbedingungen der Anbieter, die die Grenze zwischen legitimer Nutzung und Kopie ziehen.
