JS Denain, starszy badacz w Epoch AI i kierownik zespołu Insights, uważa, że obecne dane publiczne nie wystarczą, aby potwierdzić nadchodzące przyspieszenie postępów w dziedzinie sztucznej inteligencji. W rozmowie z Nathanem Lambertem powraca do niepewności otaczających tę trajektorię oraz różnicy między modelami chińskimi a amerykańskimi.
Przyspieszenie wciąż niepewne
Wpisy opublikowane przez OpenAI i Anthropic badają wpływ sztucznej inteligencji na jej własny postęp, dynamikę zwaną rekurencyjnym samodoskonaleniem (RSI). Dla JS Denaina najbardziej uderzającym faktem z wpisu OpenAI jest wzrost wydatków badaczy na Codex, które według przedstawionej krzywej rosną 2-krotnie miesięcznie. Zauważa jednak, że ten wskaźnik może dotyczyć tylko Codexa, a nie użycia ChatGPT, i nie stanowi mocnego dowodu na wybuch oprogramowania w ciągu najbliższych sześciu miesięcy.
Zapytany o związek między RSI a ryzykiem egzystencjalnym, mówi, że jest bardzo niepewny, ale zaniepokojony. Przytacza szacunki Evana Hubingera, według których ryzyko wyginięcia wyniosłoby co najmniej 10% w nieokreślonym okresie, i uważa tę ocenę za rozsądną w perspektywie dekady. Według niego nie ma wewnętrznych informacji, które uzasadniałyby znacznie większe obawy.
Opóźnienie od czterech do ośmiu miesięcy
JS Denain określa różnicę między najlepszymi chińskimi laboratoriami a OpenAI lub Anthropic na od czterech do ośmiu miesięcy, porównując daty publicznych premier. Uważa, że różnica dwóch miesięcy byłaby raczej kwestią nadmiernego dopasowania do testów. Nathan Lambert z kolei sądzi, że modele takie jak Kimi K3 i GLM 5.2 byłyby bliżej, na poziomie dwóch, trzech lub czterech miesięcy.
Destylacja, polegająca na trenowaniu modelu na podstawie odpowiedzi innego modelu, może odgrywać większą rolę niż oczekiwano. Denain uważa, że gdyby ją zatrzymać, różnica wzrosłaby z około sześciu miesięcy do ośmiu lub dziewięciu w perspektywie sześciu do dwunastu miesięcy. Nathan Lambert pozostaje bardziej sceptyczny: według niego bez destylacji różnica byłaby dość niewielka, a większe znaczenie miałaby różnica w mocy obliczeniowej.
Analiza ofert pracy, przeprowadzona z Cheryl Wu i opublikowana w czerwcu, sugeruje ponadto, że przynajmniej niektóre chińskie laboratoria budują własne centra danych, zamiast wynajmować moc obliczeniową.
Bezpieczeństwo i dane
Nathan Lambert wspomina o incydencie, w którym trzy osoby miały używać publicznych modeli Claude’a, aby uzyskać dostęp do wewnętrznych systemów OpenAI. JS Denain mówi, że słyszał o tym krótko, nie wiedząc, czy problem dotyczy zabezpieczeń modeli, czy bezpieczeństwa przedsiębiorstw. Uważa, że modele otwarte są mniej chronione, ale też mniej potężne.
Na koniec Denain wyjaśnia, że Epoch powstało, ponieważ ani przemysł, ani środowisko akademickie nie oferowały publicznego i systematycznego źródła informacji o głównych trendach w sztucznej inteligencji. Zauważa, że dane treningowe są znacznie trudniejsze do śledzenia niż moc obliczeniowa, podczas gdy rosnąca liczba debiutów giełdowych mogłaby poprawić dostępne informacje.
