ИИ-агенты, способные принимать инициативы в информационных системах компаний, подрывают существующие модели управления. Идентификация, контроль доступа, отслеживаемость и человеческий надзор становятся ключевыми элементами для совмещения автономности и безопасности в то время, когда AI Act постепенно вступает в силу.
Традиционная модель управления основана на простом принципе: один человек соответствует одной идентичности, набору прав и четко определенному ответственному лицу. С появлением ИИ-агентов эта логика рушится. Эти программы могут создаваться быстро, эволюционировать со временем и получать расширенный доступ в зависимости от своих задач. Развернутые вне обычных процессов, они могут лишить компанию возможности отслеживать количество активных агентов, их ответственных лиц и то, что им действительно разрешено делать.
Согласно отчету Okta Global CISO Insights 2026, 81% опрошенных руководителей служб безопасности обеспокоены чрезмерными правами доступа, предоставленными ИИ, в то время как только 47% заявляют, что могут идентифицировать всех ИИ-агентов в своей среде. AI Act не регулирует «ИИ-агентов» как отдельную категорию. Однако он предъявляет повышенные требования к способности идентифицировать, контролировать, отслеживать и управлять развернутыми системами для определенных систем и уровней риска. Таким образом, вопрос уже не только в том, использует ли компания ИИ, а в том, что имеет право действовать от ее имени.
Для систем высокого риска регламент устанавливает требования к управлению рисками, отслеживаемости, мониторингу и человеческому контролю. Прежде чем позволить агенту вмешиваться в критический процесс, необходимо знать, к каким данным он может получить доступ, какие приложения использовать, какие действия выполнять, кто за него отвечает и как при необходимости приостановить его доступ. Текст также вписывается в более широкое движение, включая DORA и NIS2, которое сводится к одному требованию: идентифицировать ресурсы, понимать доступы и уметь демонстрировать, что произошло.
Идентичность — основа цепочки ответственности
Каждый агент должен быть идентифицируем, привязан к команде или ответственному лицу, иметь определенную область доступа, а его разрешения должны регулярно пересматриваться. Агент — не сотрудник, и управлять им как работником не нужно. Задача заключается в возможности восстановить цепочку ответственности, когда он действует, то есть связать автоматизированное действие с разрешением и ответственным лицом. Некоторые задачи могут быть полностью автоматизированы, другие должны оставаться под контролем человека или быть прерваны при возникновении особого риска.
Четыре шага для восстановления контроля
Картографировать существующее положение. Первый шаг — инвентаризация используемых инструментов и агентов, их доступа к данным и лиц, которые ими управляют. Эта инвентаризация также должна охватывать агентов, созданных в средах разработки, и автоматизированные рабочие процессы, выпадающие из традиционных ИТ-процессов.
Назначить идентичность и область ответственности. Агент должен иметь назначенного владельца и разрешения, соответствующие его задаче, в соответствии с принципами минимальных привилегий, ограниченного по времени доступа и разделения обязанностей. Его машинная природа не должна приводить к предоставлению ему большего доверия, чем человеку.
Сохранять человеческий контроль. Для чувствительных действий компания должна определить, когда необходимо человеческое вмешательство — будь то одобрение перед выполнением или возможность быстро остановить агента, вышедшего за пределы своей зоны ответственности.
Проверять бизнес-ценность. Автономные проекты, запущенные без четкой цели и надзора, могут множить риски, не демонстрируя своей полезности. Следует определить решаемую проблему, ожидаемую ценность и способ измерения результатов, что также позволяет установить необходимый уровень автономности.
Для систем ИИ высокого риска, подпадающих под Приложение III, правила вступят в силу с 2 декабря 2027 года. Однако источник напоминает, что управление агентом строится в тот момент, когда компания дает ему право действовать, а не к регуляторному сроку. Рассматривая этих агентов как вопрос идентичности, а не только соответствия или технологий, организации могут перейти от логики «теневого ИИ» к управляемому ИИ.
