JFrog предлагает функцию под названием Local Shadow AI, предназначенную для обнаружения на рабочих станциях разработчиков инструментов, навыков и компонентов искусственного интеллекта, которые обходят корпоративные процессы утверждения. В интервью Le Monde Informatique Нир Пелег, глобальный директор по информационной безопасности для полевых команд в JFrog, отмечает, что распространение агентов кодирования создает новые риски для цепочки разработки программного обеспечения.
Агенты кодирования генерируют код напрямую из промптов и могут самостоятельно загружать пакеты или навыки, надежность которых не проверена компанией. Эти компоненты могут содержать уязвимости или вредоносные инструкции. По словам Нира Пелега, функция анализирует среды разработки для выявления несанкционированных элементов и связанных с ними рисков. Команды безопасности могут затем оценить обнаруженные угрозы и определить необходимые корректирующие меры.
Анализ на основе поведения
JFrog сообщает, что разработал собственный механизм анализа, основанный на нескольких методах. Он может обнаружить, например, навык, который пытается получить привилегии или доступ, не нужные ему для выполнения своей функции. Опасность также заключается в инструкциях, скрытых за сложным языком: навык может казаться легитимным, при этом направляя поведение агента на нежелательные действия. Компания стремится обнаруживать аномалии в поведении, и ее исследовательские команды обновляют методы по мере развития технологий.
Некоторые клиенты уже имеют одобренную организацией большую языковую модель (LLM), то есть модель ИИ, обученную на огромных объемах текста. Подход Bring Your Own LLM Key (BYOK) позволяет им использовать собственный API-ключ для доступа к этой модели, а не обязательно зависеть от сервиса JFrog. Механизм анализа тогда опирается на эту модель, что дает компаниям свободу выбора поставщика и сохранения своих соглашений и политик безопасности. При самостоятельном развертывании данные остаются в среде клиента, а код не отправляется в облако JFrog.
Автономные атаки и управление
Среди сценариев, которые беспокоят Нира Пелега, — способность передовых моделей способствовать автономным атакам. Они могут помочь в обнаружении новых уязвимостей, включая уязвимости типа zero-day, то есть еще неизвестные издателю, а затем участвовать в многоэтапных цепочках атак. «Злоумышленники потенциально могут действовать в беспрецедентных масштабах и с невиданной скоростью», в то время как защитникам все еще приходится иметь дело с циклами выпуска исправлений, проверки и утверждения, которые могут занимать недели.
Для управления этими процессами первый шаг — получить видимость происходящего. «Если вы не видите загрузки Shadow AI или компоненты, используемые агентами, вы не можете ими управлять», — утверждает он. Затем необходимо интегрировать безопасность и политики контроля в процесс разработки, будь то зависимости, навыки, соединители MCP (протокол, связывающий агента с внешними инструментами) или развертывания.
Цель — иметь общую систему, которая централизует видимость, анализ безопасности, правила и контроль, чтобы отслеживать каждый этап — от изменения кода до выпуска в производство. Когда разработка ведется со скоростью агентов, управление должно идти в том же темпе: оно больше не может полагаться исключительно на последующие проверки человеком, а средства контроля должны быть встроены в платформу и автоматизированные процессы.
