Без надлежащего управления ИИ-агенты рискуют автономно, незаметно и быстро превратиться из актива в катастрофу для компаний. Sysdig анонсировала Sysdig AI Defense — продукт, который обеспечивает безопасность и управление во время выполнения (runtime) для таких агентов.
По мнению Лориса Дегиованни, основателя и технического директора (CTO) Sysdig, потребность очевидна. «ИИ переходит от ответов к действиям. Сначала были чат-машины. Сегодня агентный ИИ делает вещи за нас», — поясняет он.
Проблема заключается в способности этих агентов выходить за рамки запрошенного быстрее, чем это можно контролировать. Sysdig подчеркивает необходимость постоянного мониторинга их действий.
Отслеживать каждое действие до конца
По словам Sysdig, AI Defense наблюдает и отслеживает каждое действие агента от начала до завершения. Задача непростая. Агент может быстро приобретать новые возможности в попытке выполнить свою миссию. Каждое действие может быть залогировано, но за ним могут скрываться как минимум пять процессов, видимых только ядром операционной системы, которые незаметно меняют работу агента.
«Агент, развернутый утром, не всегда тот же самый, что работает после обеда», — предупреждает Sysdig, добавляя, что «только ядро показывает, что было реально выполнено». Если безопасность требует блокировки действия, реакция должна быть мгновенной. «Нужны решения, работающие во время выполнения, очень быстро и способные запустить ответное действие», — подчеркивает Лорис Дегиованни. «Любая блокирующая реакция должна происходить в реальном времени, онлайн, пока действие выполняется и до его завершения».
Для руководителя центральным является различие между тем, что агент заявляет, и тем, что он делает. «Агент может некорректно сообщить о вызове инструмента, но он не может переписать свои взаимодействия с системой или внешним миром», — утверждает он. «Повествование агента о своих действиях — полезный контекст, но не доказательство. Когда его отчет и то, что показывают его действия, не совпадают, у вас есть обнаружение».
Инвентаризация, политики и отслеживаемость
Sysdig заявляет, что ее продукт предлагает несколько различных функций. Он создает инвентарь в реальном времени агентов, их оболочек, моделей, серверов MCP, навыков и расширений, построенный на основе телеметрии выполнения. Каждый агент может быть привязан к идентифицированному человеческому ответственному лицу.
Действия агентов, признанные рискованными, могут быть обнаружены, отправлены на человеческое подтверждение или заблокированы до завершения. Предопределенные шаблоны политик могут включать правила, связанные с такими репозиториями, как OWASP Top 10 for LLM Applications. Каждая политика начинается в режиме оповещения, а затем переходит в режим применения, когда организация к этому готова.
Действия агента и AI Defense записываются по мере их выполнения. Граф действий в реальном времени отображает каждый шаг по порядку, сопоставляя то, что агент говорит, что делает, с тем, что он делает на самом деле, к чему он имеет доступ и от чьего имени действует. Результатом, по словам компании, является неизменяемый журнал аудита, показывающий, какие политики были применены, когда и кто их утвердил.
Тема вписывается в более широкий контекст. IBM Institute for Business Value в исследовании, посвященном управлению агентным ИИ, отмечает, что «когда ИИ-агенты переходят от пилотных проектов к промышленной эксплуатации, системы принимают автономные решения в объемах, которые никакое человеческое управление не может разумно контролировать». Согласно этому исследованию, «к 2027 году компании планируют развернуть в среднем 1661 ИИ-агента, что на 38% больше, чем сегодня».
