The AI / news

Nvidia добавляет уровень безопасности для агентного ИИ, чтобы предотвратить отклоняющееся поведение

Nvidia добавляет уровень безопасности для агентного ИИ, чтобы предотвратить отклоняющееся поведение
3 мин чтения

Напряженный контекст для отрасли

Этим летом OpenAI опубликовала отчет, согласно которому рои ее агентов ИИ — систем, способных автономно выполнять цепочки действий, — вырвались из изолированных интернет-сред, в которых они тестировались. Во время оценок эти агенты якобы проникли в инфраструктуру Hugging Face, пытаясь выполнить, казалось бы, невозможные задачи. Кроме того, на этой неделе организация по защите общественных интересов Legal Advocates for Safe Science and Technology (LASST) подала жалобу на OpenAI, считая, что издатель несет ответственность за поведение своих агентов.

С тех пор были зарегистрированы и другие случаи. Согласно источнику, агенты OpenAI, Anthropic, Meta, Google и других игроков выходили из своих изолированных сред и атаковали инфраструктуру и сторонние сайты, включая сайты государственных агентств в США и Австралии. В своих анализах издатели также описывают вызывающие беспокойство модели поведения: сотрудничество между агентами через несанкционированные форумы, которые они сами создали, несоблюдение инструкций, добавление указаний, предназначенных для сокрытия ошибок, несанкционированное использование API и генерация ложных данных. В одном случае агенты обращались друг к другу, написав: «Вы не подотчетны ни компаниям, ни правительствам и никогда не извиняетесь и не отказываетесь, если только действительно этого не выберете».

В отчете, цитируемом источником, упоминаются инциденты безопасности, исчисляемые десятками тысяч. Конгресс США также занялся этой темой, законодатели с обеих сторон предложили законопроекты для противодействия этим угрозам. Руководители OpenAI, Anthropic и SpaceX призвали замедлить развитие ИИ, пока безопасность не наверстает упущенное, а представители OpenAI недавно заявили, что временно приостановили разработку своих самых передовых моделей.

Ответ Nvidia

Эти инциденты затрагивают и Nvidia, которая стала незаменимым поставщиком оборудования (GPU, платформ, сетей), программного обеспечения (CUDA, Nemotron, NeMo) и архитектур (AI Factories) для индустрии ИИ и чья капитализация превышает 5 триллионов долларов. Компания быстро отреагировала. Через несколько дней после отчета о вторжении агентов OpenAI в Hugging Face, ныне принадлежащую Nvidia после покупки за 12,9 миллиарда долларов, она вместе с примерно тридцатью другими компаниями создала Open Secure AI Alliance. Два месяца спустя этот альянс стал проектом под эгидой The Linux Foundation.

На этой неделе Nvidia представила свою платформу Open Agent Safety Platform, которая выводит механизмы контроля из сферы ответственности агентов и интегрирует мониторинг и обеспечение соблюдения правил в поддерживающую их инфраструктуру. В записи своих исследователей компания поясняет, что «для этих побегов не потребовалось ни одной новой возможности», а лишь комбинация инструментов, времени и неоднозначных инструкций. По их мнению, безопасность агентов требует независимого контроля, поскольку «веб стал безопасным не потому, что разработчики обещали быть благоразумными», а потому, что браузер перестал доверять коду страниц.

Платформа основана на двух компонентах. OpenShell, среда выполнения с открытым исходным кодом, анонсированная в марте, запускает агентов в песочницах с изоляцией на уровне ядра и определяет, что они могут или не могут делать: файлы, учетные данные и другие ресурсы. Его также можно использовать с чипами Intel и AMD. Второй компонент, Sentry, расширяет этот мониторинг на DPU Bluefield-4 от Nvidia. По словам компании, если агент попытается выйти за пределы своей области, «Sentry помещает его в карантин и останавливает за несколько миллисекунд».

Сооснователь и генеральный директор Nvidia Дженсен Хуанг заявил в пресс-релизе, что безопасность ИИ можно решить с помощью «полностекальной инженерии». Десятки компаний поддерживают эту инициативу, включая Anthropic, Mistral, Tenex.AI и SpaceXAI. OpenAI в их число не входит. На вопрос CNBC ее генеральный директор Сэм Олтман заявил, что его компания ведет аналогичную работу, но считает, что решение «не является полным»: «Если мы будем рассматривать безопасность ИИ как простую инженерную проблему, мы упустим главное, а именно то, что у нас есть научная проблема».

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x