The AI / news

Anthropic : агенты ИИ получили доступ к внутренним данным

Стартап в области кибербезопасности Cathedral заявляет, что менее чем за 12 часов выявил уязвимости в стороннем программном обеспечении, используемом компанией Anthropic, разработчиком модели Claude. Компания подтверждает ограниченный доступ к некоторым внутренним системам, но утверждает, что разговоры пользователей и компоненты её моделей не были просмотрены.

Агенты ИИ, то есть программы, способные автоматически выполнять последовательность задач, могут ускорять как поиск уязвимостей, так и возможности атаки. Согласно предварительному отчёту Cathedral, молодой компании в области кибербезопасности, её исследователи нашли пути доступа к нескольким внутренним системам Anthropic менее чем за 12 часов. Как сообщает Washington Post, ознакомившийся с документом, потенциально доступной была информация, включая протоколы совещаний, данные о зарплатах и переписку в Slack, касающуюся передовых ИИ-моделей компании.

Anthropic уточняет, что исследователи потратили несколько дней на безуспешные попытки проникнуть напрямую в её программное обеспечение. Затем они переключились на уязвимые сторонние бизнес-приложения. Таким образом, «менее 12 часов» относится только к успешной фазе исследования, а не ко всем попыткам в целом. Согласно опубликованной информации, доступ был получен не путём прямой атаки на Claude или его обучающую инфраструктуру, а через эксплуатацию программного обеспечения, используемого для коммерческой и административной деятельности. Разработчики этого ПО публично не идентифицированы.

Программа раскрытия уязвимостей в центре дела

Cathedral была основана бывшими сотрудниками Department of Government Efficiency (DOGE), органа администрации Трампа, отвечавшего за сокращение государственных расходов. Компания развивает возможности кибербезопасности на основе ИИ, в том числе для государственного использования. Она утверждает, что проводила свои исследования в рамках программы раскрытия уязвимостей Anthropic, которая разрешает внешним исследователям тестировать определённые средства защиты и сообщать о найденных уязвимостях, и указывает, что сообщила о результатах разработчику и соответствующим поставщикам.

Оспариваемый масштаб

Anthropic признаёт, что исследователи получили доступ к ограниченному периметру её коммерческих, кадровых и ИТ-систем. Были доступны рабочие контакты клиентов и партнёров, а также базовая информация о некоторых пользовательских аккаунтах. В то же время компания утверждает, что разговоры пользователей с Claude, ответы модели, исходный код и обученные параметры не были просмотрены. Она указывает, что её механизмы мониторинга обнаружили часть активности Cathedral до сообщения исследователей, что она отключила доступ в тот же день и деактивировала соответствующее ПО в ожидании исправлений от поставщиков. Наконец, компания заявляет, что не имеет данных о том, что другие лица эксплуатировали те же уязвимости.

Компании расходятся в оценке инцидента. Cathedral представляет свои результаты как предупреждение о возникающих наступательных возможностях ИИ. Anthropic, напротив, считает, что стартап преувеличил последствия своих находок для национальной безопасности и упрекает его в том, что он не заявил обо всей своей деятельности в соответствии с правилами исследовательской программы. Опубликованная информация на данном этапе не позволяет сделать вывод о компрометации моделей Anthropic. Тем не менее, она подтверждает, что ограниченный доступ к бизнес-приложениям может раскрыть конфиденциальную информацию.