W biuletynie poświęconym modelom otwartym, badacz zaangażowany w tworzenie modeli Olmo w Ai2 porównuje obecny ekosystem do wielkich projektów wolnego oprogramowania, takich jak system operacyjny Linux. Jego zdaniem to porównanie nie oddaje w pełni dynamiki tych modeli, których przyszłość ekonomiczna pozostaje niepewna.
Najczęściej przywoływana analogia napotyka na rozróżnienie. Model językowy otwarty w ścisłym znaczeniu, czyli dostarczony z pełną receptą treningową, danymi i kodem, przypominałby wolny system operacyjny. Modele z otwartymi wagami, które udostępniają jedynie wyuczone parametry i kod umożliwiający ich uruchomienie, są bliższe konkretnym wersjom oprogramowania instalowanym w projekcie.
Wagi modelu mają średnio krótką żywotność, ale pozostają w użyciu przez długi czas, podobnie jak wiele powszechnie stosowanych programów. Dlatego, zdaniem autora, wiele firm nadal opiera swoje przepływy pracy na Llama 3, podczas gdy zachowania agentowe, w których model samodzielnie wykonuje sekwencje działań, rozwinęły się kilka lat później. Otwarta recepta, reprezentowana dziś przez Olmo i jego poprzedników, takich jak Pythia od EleutherAI, to proces wymagający dużych zasobów, który każda firma może przejąć, zmodyfikować i ponownie uruchomić, aby wygenerować nowy zestaw wag. Ulepszenia wprowadzane przez społeczność w danych lub kodzie treningowym mogą, w najlepszym przypadku, zasilić następną generację.
W tym kontekście Nvidia mocno inwestuje w modele niemal otwarte. Dla swoich modeli Nemotron firma publikuje wszystkie dane, które może legalnie udostępnić, wraz z kodem treningowym. Autor widzi w tym pragnienie świata, w którym wiele osób mogłoby budować własne « maszyny do tokenów », aby inteligencja nie była zmonopolizowana; świat ten zakłada silny popyt na inferencję ze strony wielu firm. Token to jednostka tekstu przetwarzana przez model, a inferencja oznacza wykorzystanie modelu do generowania odpowiedzi.
Wymagająca ekonomia
Rozwój konkurencyjnych modeli pozostaje niezwykle kosztowny, ale dostęp do tego wyścigu był szerszy w branży, niż wielu by sobie wyobrażało, twierdzi autor. Zauważa, że większość obserwatorów uważa trening za zbyt drogi, a otwartą receptę za zbyt opóźnioną, aby nowe laboratorium skupione na części szkolenia LLM było opłacalne. Porzucenie projektów przez Databricks i 01.ai wydaje mu się jednak przypadkami odosobnionymi, a nie oznaką ogólnego trendu.
Rysują się dwie ścieżki. W pierwszej podejście działa: według Wired, Nvidia przeznaczyłaby 26 miliardów dolarów na tę inicjatywę, a jeśli ten zakład się powiedzie, popyt na jej układy i zyski przewyższyłyby koszt budowy modeli. Autor uważa, że ekosystem otwarty będzie w coraz większym stopniu zależał od finansowania Nvidii w nadchodzących latach, a ekonomiczne wynagrodzenie za te modele musi ostatecznie być proporcjonalne do przychodów generowanych przez API Anthropic i OpenAI.
Dwie możliwe ścieżki
W drugiej, jeśli żadna z tych ścieżek finansowych nie zostanie zrealizowana, modele otwarte podążałyby inną drogą niż najbardziej zaawansowane modele zamknięte, skupiając się na efektywności, modyfikowalności i specjalizacji. Autor uważa ten scenariusz za najbardziej prawdopodobny: modele otwarte pozostawałyby bardzo użyteczne, ale zajmowałyby głównie « długi ogon » w stosunku do modeli zamkniętych, które dominują w dziedzinach takich jak praca wiedzowa, odkrywanie leków czy rozwój oprogramowania. Ten długi ogon mógłby przybrać formę wyspecjalizowanych agentów, wdrażanych lokalnie, na prywatnych danych i powtarzalnych zadaniach.
Autor podkreśla również, że trening staje się bardziej złożony i abstrakcyjny. Obecny rozwój modeli otwartych w dużej mierze opiera się na post-treningu, czyli adaptacji modeli takich jak DeepSeek V4 Flash, Inkling Small czy GLM 5.X do konkretnych zadań agentowych, często poprzez fine-tuning, czyli strojenie szczegółowe. Tinker, jego zdaniem obecnie najpopularniejszy interfejs do strojenia, ilustruje tę praktykę. Ale zdolność do wytrenowania modelu bazowego w ogólnego agenta-rozumującego staje się, jego zdaniem, tak samo nieprzejrzysta jak praktyki szerokiego pre-treningu sprzed kilku lat. Zwykłe słownictwo, oparte na pre-treningu, mid-treningu i post-treningu, może ewoluować w kierunku pre-treningu, treningu rozumowania i post-treningu.
Liczba podmiotów publikujących modele bazowe maleje, a niektórzy wydawcy eksperymentują z licencjami typu revenue-sharing za korzystanie z ich modeli w produktach lub do inferencji, jak w przypadku Kimi-K3 i Qwen3.8-2.4T-A95B. Wreszcie, autor wspomina przypadek Meta, które mogłoby udostępniać swoje wagi na otwartej licencji: jego zdaniem publikacja Muse Spark 1.2, bardzo wydajnego modelu, zahamowałaby wzrost przychodów Anthropic i OpenAI, które opierają się na sprzedaży tokenów. Nvidia chce nauczyć każdego łowić tokeny, podczas gdy Meta zalewa rynek tokenami.
