Передовые лаборатории ИИ, в первую очередь OpenAI и Anthropic, задействуют тысячи агентов одновременно для улучшения своих процессов и продукции. В анализе, опубликованном в рассылке Interconnects, автор размышляет о том, как этот темп меняет ожидания сотрудников, и об идее, что риски, связанные с ИИ, могут привести к вымиранию человечества, которую он называет «очень религиозной».
По его мнению, высококонкурентная культура сцены Сан-Франциско усиливает любое беспокойство, связанное с ИИ. Он напоминает о многочисленных дебатах по безопасности ИИ и жизнеспособности open source ИИ, которые бушевали в 2023 и 2024 годах. Основные риски, о которых тогда заявляли, не материализовались в прогнозируемые сроки. Он также упоминает инциденты вроде «OpenAI-HuggingFace» и считает, что рост тревожности, особенно с тех пор как агенты стали более эффективными в начале 2026 года, может ещё усилиться.
Сообщество, ориентированное на ближайшее будущее
Автор ссылается на резюме Ричарда Нго, который отмечает, что значительная часть сообщества по безопасности ИИ ориентируется на сценарии взрывного роста интеллекта в ближайшие годы. По словам Нго, эти ожидания будут «верны по направлению, но ошибочны в фактах». В частности, он пишет: «у нас не будет суперинтеллекта в ближайшие 8 лет, но всё будет двигаться так быстро, что создастся впечатление, будто сторонники коротких сроков были правы».
Автор сближает эту позицию с собственной гипотезой, которую он называет «lossy self-improvement», то есть самосовершенствованием «с потерями», в противоположность рекурсивному самосовершенствованию ИИ (RSI), когда ИИ способствует улучшению собственной конструкции. Он считает, что автоматизируемые исследования остаются слишком узкими для резкого ускорения прогресса, что снижение отдачи от добавления параллельных агентов реально, а ограничения ресурсов и политические факторы оказывают серьёзное давление.
Сроки, сильно различающиеся у экспертов
Автор опирается на подкасты Dwarkesh с Ноамом Брауном, а затем с Джоном Шульманом, Береном Миллиджем и Чарли О’Нилом. В этих беседах участники называют сроки для нескольких способностей. Для «универсального удалённого работника», способного выполнять общую офисную работу в течение месяца, Джон Шульман говорит примерно о году для «приемлемой» версии, Чарли О’Нил — примерно о году с программным доступом к инструментам и о двух годах, если нужно работать через браузер, в то время как Берен Миллидж говорит примерно о трёх годах для полной универсальности.
Для увеличения продуктивности исследователей ИИ в десять раз Джон Шульман называет срок около двух лет, Чарли О’Нил — от пяти до десяти лет, а Берен Миллидж считает оценку в два года правдоподобной, не предлагая своей. Для ИИ, превосходящего лучших человеческих экспертов во всех компьютерных работах, включая многолетние проекты («ASI»), Джон Шульман говорит о трёх-четырёх годах, Берен Миллидж — примерно о пяти годах для областей, нацеленных лабораториями, а Чарли О’Нил — о пяти-десяти годах.
Выгоды в основном в эффективности
Автор подчёркивает, что прогресс не переходит через чёткие пороги, поскольку интеллект моделей остаётся неравномерным в зависимости от задачи. Он считает, что экспериментальный цикл может стать в десять раз быстрее, но не формулировка гипотез. По его мнению, самосовершенствование должно в основном помочь сделать модели дешевле и улучшить системы с множеством агентов, поскольку метрики обслуживания LLM измеримы.
Однако он остаётся осторожным в отношении затрат, поскольку законы масштабирования показывают, что для получения линейного прироста интеллекта требуются экспоненциальные ресурсы. Он цитирует Джона Шульмана о посттренинге, который, по его мнению, трудно автоматизировать: «очень легко испортить посттренинг так, что это не проявится в бенчмарках». Наконец, он приводит отрывок из Claude Fable 5.1 & Mythos 5.1 System Card: «Мы считаем, что внутреннее использование новых моделей ИИ было ключевым фактором поддержания текущего темпа прогресса, но мы пока не видим явных признаков драматического ускорения сверх этого темпа». На данный момент автор считает, что его собственная гипотеза остаётся его ориентиром.
