В информационном бюллетене, посвященном открытым моделям, исследователь, участвовавший в создании моделей Olmo в Ai2, сравнивает нынешнюю экосистему с крупными свободными программными продуктами, такими как операционная система Linux. По его мнению, это сравнение не полностью отражает динамику этих моделей, чье экономическое будущее остается неопределенным.
Чаще всего приводимая аналогия наталкивается на различие. Открытая языковая модель в строгом смысле, то есть поставляемая с полным рецептом обучения, данными и кодом, приближалась бы к свободной операционной системе. Модели с открытыми весами, которые предоставляют только обученные параметры и код для их запуска, больше похожи на конкретные версии программного обеспечения, установленного в проекте.
Веса модели в среднем имеют короткий срок жизни, но остаются в использовании долгое время, как и многие широко применяемые программы. Поэтому, по мнению автора, многие компании продолжают использовать в своих рабочих процессах Llama 3, в то время как агентское поведение, когда модель автономно выполняет цепочки действий, развилось несколькими годами позже. Открытый рецепт, примером которого сегодня служат Olmo и его предшественники, такие как Pythia от EleutherAI, — это ресурсоемкий процесс, который любая компания может взять, изменить и перезапустить для создания нового набора весов. Улучшения, внесенные сообществом в данные или код обучения, в лучшем случае могут питать следующее поколение моделей.
Именно в этом контексте Nvidia активно инвестирует в почти открытые модели. Для своих моделей Nemotron компания публикует все данные, которые может распространять легально, а также код обучения. Автор видит в этом стремление к миру, где множество людей смогут строить свои собственные «машины по производству токенов», чтобы интеллект не был монополизирован, — мир, который предполагает высокий спрос на инференс со стороны множества компаний. Токен — это единица текста, обрабатываемая моделью, а инференс означает использование модели для генерации ответов.
Требовательная экономика
Разработка конкурентоспособных моделей по-прежнему чрезвычайно дорога, но доступ к этой гонке в отрасли оставался шире, чем многие предполагали, считает автор. Он отмечает, что большинство наблюдателей считают обучение слишком дорогим, а открытый рецепт — слишком отстающим, чтобы новая лаборатория, сосредоточенная на части обучения LLM, была жизнеспособной. Однако отказы Databricks и 01.ai кажутся ему скорее единичными случаями, а не признаком общей тенденции.
Намечаются два пути. По первому сценарию подход работает: по данным Wired, Nvidia может потратить на это предприятие 26 миллиардов долларов, и если ставка окупится, спрос на ее чипы и прибыль превысят стоимость создания моделей. Автор полагает, что открытая экосистема будет все больше зависеть от финансирования Nvidia в ближайшие годы, а экономическое вознаграждение за эти модели в конечном итоге должно быть пропорционально доходам, генерируемым API от Anthropic и OpenAI.
Два возможных пути
По второму сценарию, если ни один из этих финансовых путей не реализуется, открытые модели пойдут по иному пути, чем самые продвинутые закрытые модели, сосредоточившись на эффективности, модифицируемости и специализации. Автор считает этот сценарий наиболее вероятным: открытые модели останутся очень полезными, но в основном займут «длинный хвост» по сравнению с закрытыми моделями, которые доминируют в таких областях, как интеллектуальная работа, открытие лекарств или разработка программного обеспечения. Этот длинный хвост может принимать форму специализированных агентов, развертываемых на местах, на частных данных и для повторяющихся задач.
Автор также подчеркивает, что обучение становится сложнее и абстрактнее. Нынешний расцвет открытых моделей во многом основан на постобучении, то есть адаптации таких моделей, как DeepSeek V4 Flash, Inkling Small или GLM 5.X, к конкретным агентским задачам, часто с помощью тонкой настройки (fine-tuning). Tinker, по его мнению, самая популярная сегодня интерфейсная оболочка для тонкой настройки, иллюстрирует эту практику. Но способность обучить базовую модель, чтобы превратить ее в универсального агентского мыслителя, становится, по его словам, столь же непрозрачной, как и практики крупномасштабного предобучения несколько лет назад. Обычная терминология, основанная на предобучении, промежуточном обучении и постобучении, может эволюционировать в предобучение, обучение рассуждению и постобучение.
Число игроков, публикующих базовые модели, сокращается, и некоторые издатели экспериментируют с лицензиями с распределением доходов за использование их моделей в продуктах или для инференса, как в случае с Kimi-K3 и Qwen3.8-2.4T-A95B. Наконец, автор упоминает случай с Meta, которая может распространять свои веса под открытой лицензией: по его мнению, публикация высокопроизводительной модели Muse Spark 1.2 замедлила бы рост доходов Anthropic и OpenAI, которые зависят от продажи токенов. Nvidia хочет научить каждого ловить токены, в то время как Meta заваливает рынок токенами.
