Запрет моделей с открытыми весами с целью ограничения киберрисков может, по мнению автора колонки, опубликованной на Substack, идти вразрез с конкурентоспособностью США и увеличивать риски в долгосрочной перспективе. Он считает, что дебаты зашли в тупик из-за неучета компромиссов и сложных реалий.
Три позиции в дебатах
Автор выделяет три течения. Первое считает, что модели с открытыми весами, то есть те, чьи параметры опубликованы и могут быть загружены, представляют неприемлемый риск для функционирования общества. Его объединяют руководство некоторых передовых лабораторий ИИ и сообщество национальной безопасности США. Второе, к которому он себя относит, утверждает, что эти модели необходимы для обороны и что запрет на их использование сделает мир менее безопасным. Оно объединяет умеренные западные голоса, включая Hugging Face после инцидента с OpenAI, а также Джошуа Сакса. Третье включает китайские компании, которые продолжают публиковать модели с открытыми весами, обладающие высокими кибервозможностями, на основе собственной оценки рисков.
Текст упрекает отчет Anthropic о рисках модели GLM-5.3, которую можно использовать как инструмент для проведения кибератак, в том, что он не затрагивает сквозные вопросы. Техническая работа признается разумной, но автор отмечает, что никакого анализа не проводится ни о последствиях запрета открытых моделей, ни о причинах, по которым китайские компании считают эти модели безопасными для публикации.
Данные, компромиссы и иное управление
По мнению автора, задокументированные на сегодняшний день атаки в основном связаны с закрытыми моделями, доступными через программный интерфейс (API), и он, в частности, ссылается на множество атак, приписываемых моделям OpenAI. Он приводит несколько возможных объяснений, не делая окончательных выводов: как открытые модели, так и закрытые API могут быть одинаково легко использованы не по назначению, или же злоумышленников, готовых нацеливаться на критическую инфраструктуру, может быть немного. Он также подчеркивает, что в некоторых чувствительных областях открытые модели — единственные, которые можно использовать в сетях, изолированных от интернета.
По его мнению, Китай подходит к безопасности ИИ способом, свойственным его культуре и структурам власти. Насколько ему известно, китайские компании должны декларировать каждый крупный выпуск модели правительству, включая оценки, но неясно, распространяется ли этот порядок на кибер- или биологические риски. Он также считает, что полные оценки безопасности модели, такой как Kimi K3, могут стоить десятки миллионов долларов в пересчете на вычислительные ресурсы.
При анонсе Claude Mythos был представлен как новый класс кибероружия. Автор считает, что такая презентация была ошибочной, и что случайная утечка этой модели с открытыми весами в основном ускорила бы инциденты, а не создала бы прорыв. По его мнению, GLM-5.3 теперь преодолевает упомянутый порог возможностей, и спустя более месяца после публикации с открытыми весами мало публичных доказательств указывает на то, что ситуация сильно изменилась.
