С агентами ИИ меняется сама природа риска. Ошибка уже не ограничивается неверным или неточным ответом: она может превратиться в решение, а затем и в действие в информационной системе. По данным Capgemini Research Institute, эти агенты могут создать до 450 миллиардов долларов стоимости к 2028 году, в то время как 15% бизнес-процессов могут достичь частичного или полного уровня автономии в ближайшие двенадцать месяцев.
Чем глубже агенты будут интегрированы в цепочку создания стоимости, тем больше контроль над их действиями будет зависеть от управления, а не только от кибербезопасности. В тексте подчеркивается, что дискуссия, долгое время сосредоточенная на моделях, их данных, предвзятости или галлюцинациях, теперь должна касаться архитектуры власти в информационной системе.
Не путать делегирование с передачей привилегий
Часто рефлекс заключается в том, чтобы позволить агенту действовать « от имени » пользователя и передать ему свои права. Такой подход, уже наблюдаемый на практике, здесь признается ошибочным. Финансовый директор законно имеет доступ к казначейству, выплатам, отчетности или определенным стратегическим операциям, тогда как агенту, отвечающему за сверку счетов, нужна лишь малая часть этих привилегий. Передать ему идентичность финансового директора — значит смешать полномочия того, кто ставит задачу, с полномочиями того, кто ее выполняет.
Программное обеспечение имеет разрешения, тогда как агент должен получать мандат. Согласно тексту, этот мандат должен основываться на собственной идентичности, определенной задаче, доступных ресурсах, сроке, разрешенных действиях и возможности отзыва. Фактическая власть агента должна ограничиваться пересечением его собственных прав, прав пользователя и того, что требуется для выполнения задачи, « никогда их суммой ». Это правило становится решающим, когда несколько агентов сотрудничают: делегирование задачи никогда не должно позволять делегировать больше власти.
Эта тема уже актуальна в некоторых компаниях, особенно в банковском секторе, где сотрудникам развертываются безопасные и управляемые среды генеративного ИИ. Когда эти среды эволюционируют в агентов, способных вмешиваться в бизнес-процессы, защиты данных уже недостаточно: необходимо также управлять полномочиями, доверенными машине.
Дать агентам идентичность для предоставления автономии
Cloud Security Alliance считает, что нечеловеческие идентичности — сервисные аккаунты, API-ключи, сертификаты, токены или учетные данные, используемые агентами, — в среднем в 45 раз превышают количество человеческих идентичностей в компаниях. Поэтому необходимо точно знать, кто действует. В этом отношении текст различает Владельца агента, ответственного за агента в производстве и его жизненный цикл, самого агента, наделенного собственными правами, и пользователя, от имени которого он действует.
Такое управление предполагает сквозную прослеживаемость. Компания должна иметь возможность восстанавливать действия агента, его взаимодействия с информационной системой и источники данных, которые он использует. Эта видимость должна позволять обнаруживать несоответствующее поведение, запускать оповещения или защитные механизмы и, для критически важных или чувствительных функций, сохранять человеческое одобрение до тех пор, пока работа агента не будет достаточно проверена.
Согласно этому анализу, цель состоит не в ограничении автономии агентов, а в создании условий для доверия. Чем лучше компания сможет идентифицировать своих агентов, ограничивать их мандат, отслеживать их действия и сохранять возможность человеческого вмешательства, тем более важные обязанности она сможет им доверить. Вопрос, заключает текст, будет уже не только в том, какой ИИ использует компания, но и в том, кому она отдала ключи от своей информационной системы, под какой идентичностью и под каким контролем.
