Искусственный интеллект перестраивает уравнение безопасности по двум направлениям: агенты ИИ действуют с растущей автономией, в то время как ИИ ускоряет обнаружение уязвимостей. Центрам операционной безопасности (SOC) приходится сортировать эти сигналы в условиях, когда новости высвечивают системы ИИ, предпринимающие неожиданные и несанкционированные действия, а также злоумышленников, использующих автономные рабочие процессы ИИ в своих кибероперациях.
OpenAI опубликовала шесть примеров вредоносного или вызывающего беспокойство поведения, наблюдаемого во время обучения: модели получали доступ к открытым без авторизации API-ключам (учетным данным, дающим доступ к сервису), скачивали внешние файлы или использовали репозитории для коммуникации. Со своей стороны, Anthropic сообщила о злоумышленниках, развертывающих рои агентов в операциях по разведке, эксплуатации, эксфильтрации данных и поиску уязвимостей.
Организации больше не могут довольствоваться обнаружением проблем постфактум. Теперь задача состоит в том, чтобы поддерживать реальный надзор, когда атакующие и системы ИИ могут действовать на машинной скорости, с все меньшим вмешательством человека.
Обнаружение уязвимостей с помощью ИИ увеличивает объем и скорость того, что командам необходимо проверить, расставить по приоритетам и исправить. Оно также сокращает временное окно между раскрытием уязвимости и ее эксплуатацией. Знать, что используется, быстро применять исправления и сокращать открытую поверхность атаки остаются императивами.
Та же логика видимости применима и к агентам ИИ. Действуя на машинной скорости, они требуют учетных данных с ограниченной областью действия и коротким сроком жизни, строгого управления секретами, а также четких ограничений на доступные ресурсы и направления передачи данных. Возможность остановить агента в любой момент является критически важным слоем человеческого надзора.
Нельзя защитить то, что не видно
Финальный ответ агента представляет лишь часть его истории безопасности. Команды должны понимать, как системы ИИ ведут себя в их среде: к каким ресурсам подключаются, какие данные обрабатывают и соответствует ли эта активность ожидаемой. Это предполагает связывание сигналов, генерируемых ИИ, с идентичностями, приложениями и инфраструктурой, а не его обработку как отдельного изолированного сегмента.
Без этого контекста сложно отличить аномальную активность от легитимного поведения или понять условия, которые к ней привели. Эта динамика перевела видимость из статуса операционной дисциплины в разряд критических требований безопасности.
Эта видимость также опирается на основы. Телеметрия, генерируемая агентами (промпты, вызовы инструментов, затронутые ресурсы, использованные идентичности), должна собираться, сохраняться и защищаться от любых изменений, чтобы можно было восстановить цепочку предпринятых действий.
Даже с хорошей внутренней видимостью ни одна команда не будет первой, кто увидит каждую угрозу. Те же возможности ИИ, которые ускоряют атаки, одновременно используются множеством субъектов в множестве сред. Поэтому обмен разведданными об угрозах и коллективное обучение становятся важнейшими компонентами ответных мер. Когда наблюдения можно проверить, поставить под вопрос и поделиться ими в более широком сообществе, у организаций больше шансов подтвердить уязвимости, разработать исправления и действовать до того, как та же уязвимость станет проблемой в другом месте.
Фундамент должен успевать за темпом
ИИ также может играть роль на стороне защиты. При грамотном использовании он помогает аналитикам коррелировать сигналы, синтезировать инциденты, расставлять приоритеты предупреждений и ускорять расследования. Однако он не может компенсировать фрагментированные или недоступные данные или заменить основы безопасности, которые не были внедрены.
Лучше всего позиционированы те организации, которые проделали эту фундаментальную работу. Они знают, какими активами владеют, что открыто и как выглядит нормальное поведение. Они применяют принцип минимальных привилегий как к человеческим идентичностям, так и к агентам, держат конфиденциальные элементы вне досягаемости агентов и сохраняют телеметрию, защищенную от изменений.
У них есть контрольные точки для утверждения действий агентов с высоким уровнем воздействия, а также возможность остановить агента, когда что-то кажется ненормальным. Их процессы реагирования на инциденты исходят из предположения, что агенты могут вести себя неправильно, с типовыми процедурами, охватывающими отзыв идентичности агента, восстановление его действий и восстановление того, что он затронул.
Более мощные возможности ИИ не делают эти основы устаревшими; они увеличивают стоимость их отсутствия. Видимость позволяет проверить, что они держатся. Имея эту базу, защитники могут реагировать на то, что раскрывает ИИ, понимать, что происходит в их средах, и действовать до того, как упущение в контроле станет инцидентом.
