JS Denain, Senior Researcher bei Epoch AI und Leiter seines Insights-Teams, ist der Ansicht, dass die aktuellen öffentlichen Daten nicht ausreichen, um eine bevorstehende Beschleunigung der KI-Fortschritte zu belegen. In einem Gespräch mit Nathan Lambert geht er auf die Unsicherheiten ein, die diese Entwicklung umgeben, sowie auf die Kluft zwischen chinesischen und amerikanischen Modellen.
Eine noch unsichere Beschleunigung
Veröffentlichungen von OpenAI und Anthropic untersuchen die Wirkung der KI auf ihre eigenen Fortschritte, eine Dynamik, die als rekursive Selbstverbesserung (RSI) bezeichnet wird. Für JS Denain ist das auffälligste Ergebnis des OpenAI-Beitrags der Anstieg der Codex-Ausgaben der Forscher, die laut der dargestellten Kurve monatlich um das 2-fache zunehmen. Er weist jedoch darauf hin, dass diese Messung möglicherweise nur Codex betrifft und nicht die Nutzung von ChatGPT, und dass sie keinen soliden Beweis für eine Software-Explosion in den nächsten sechs Monaten darstellt.
Auf die Frage nach dem Zusammenhang zwischen RSI und existenziellem Risiko antwortet er, dass er sehr unsicher, aber besorgt sei. Er zitiert die Schätzung von Evan Hubinger, wonach das Aussterberisiko mindestens 10 % über einen nicht näher definierten Zeitraum beträgt, und hält diese Schätzung für ein Jahrzehnt für vernünftig. Seiner Ansicht nach liegen ihm keine internen Informationen vor, die eine deutlich stärkere Besorgnis rechtfertigen würden.
Eine Verzögerung von vier bis acht Monaten
JS Denain schätzt die Kluft zwischen den besten chinesischen Laboren und OpenAI oder Anthropic auf vier bis acht Monate, basierend auf dem Vergleich der öffentlichen Veröffentlichungstermine. Er meint, eine Differenz von zwei Monaten wäre eher auf eine Überanpassung an Tests zurückzuführen. Nathan Lambert hingegen hält Modelle wie Kimi K3 und GLM 5.2 für näher beieinander, nämlich zwei, drei oder vier Monate.
Die Destillation, bei der ein Modell anhand der Antworten eines anderen trainiert wird, könnte eine größere Rolle spielen als erwartet. Denain schätzt, dass ohne Destillation die Kluft von etwa sechs Monaten auf acht oder neun Monate in einem Zeitraum von sechs bis zwölf Monaten ansteigen würde. Nathan Lambert bleibt zurückhaltender: Seiner Meinung nach wäre die Kluft ohne Destillation ziemlich ähnlich, und der Unterschied in der Rechenleistung würde stärker ins Gewicht fallen.
Eine Analyse von Stellenangeboten, die gemeinsam mit Cheryl Wu durchgeführt und im Juni veröffentlicht wurde, legt außerdem nahe, dass zumindest einige chinesische Labore eigene Rechenzentren aufbauen, anstatt Rechenleistung zu mieten.
Sicherheit und Daten
Nathan Lambert erwähnt einen Vorfall, bei dem drei Personen öffentliche Claude-Modelle genutzt haben sollen, um auf interne Systeme von OpenAI zuzugreifen. JS Denain sagt, er habe kurz davon erfahren, wisse aber nicht, ob das Problem bei den Schutzmechanismen der Modelle oder der Unternehmenssicherheit liege. Er hält offene Modelle für weniger geschützt, aber auch weniger leistungsfähig.
Abschließend erklärt Denain, dass Epoch gegründet wurde, weil weder die Industrie noch die Wissenschaft eine öffentliche und kontinuierlich gepflegte Ressource zu den großen KI-Trends anboten. Er stellt fest, dass Trainingsdaten viel schwerer nachzuverfolgen sind als Rechenleistung, während die zunehmenden Börsengänge die verfügbare Information verbessern könnten.
