Агенты искусственного интеллекта создают проблемы, которых нет у одной лишь генеративной ИИ, поэтому наблюдение за их работой становится одновременно сложнее и важнее. Исследователи из академической среды, гражданского общества и индустрии изучили сигналы, испускаемые четырьмя наиболее популярными фреймворками для агентов, и обнаружили в них существенные пробелы.
В отличие от системы генеративного ИИ, которая выдает единый ответ для дальнейшего использования человеком, агент выполняет более длинные цепочки задач: он планирует, выбирает инструменты, создает подчиненных агентов и выполняет действия. Кроме того, агент опирается на большие языковые модели (LLM), от которых наследует непредсказуемость. Поэтому его выполнение может принимать самые разные формы, и никакие тесты, проведенные до запуска, не позволяют полностью предвидеть риски.
По мнению авторов, эти фреймворки не позволяют легко выявлять нарушения правил, несанкционированные действия или сбои в человеческом контроле. Отсутствует несколько элементов, необходимых для наблюдения, таких как постоянные во времени идентификаторы агентов или записи о том, какие люди одобрили ту или иную задачу. В таких условиях становится трудно понять, какой агент что сделал, и проверить, действовал ли он без разрешения.
Два типа следов
Исследователи считают, что эти пробелы можно устранить, при условии начала записи двух типов следов. Первые описывают то, что произошло во время выполнения: они идентифицируют агента, сохраняя приватность, фиксируют человеческие вмешательства и указывают, изменились ли разрешения агента или его «память». Вторые касаются решений: они отслеживают ход рассуждений агента и уровень его уверенности в предпринятых действиях.
Авторы приводят пример агентов, отвечающих за обработку заявок на ипотеку в банке. Система изучает дело и рекомендует отказать, после чего человеческий консультант утверждает решение. При последующем аудите, или даже в реальном времени, банк или регулятор должны иметь возможность восстановить, какой агент принял решение, какой консультант его одобрил и сколько времени это заняло. Банк также должен проанализировать, как агент пришел к отказу, чтобы убедиться, что он не использовал запрещенную информацию, например, данные о районе проживания заявителя.
Согласно статье, запись «того, что произошло» и «того, как агент принял решение», предполагает разные подходы, но оба реализуемы. Отсутствие в настоящее время следов первого типа связано в основном с программной «обвязкой». Эту проблему можно решить с помощью OpenTelemetry, открытого стандарта для обеспечения наблюдаемости, который поддерживается инженерами всей отрасли и постепенно внедряется фреймворками для агентов.
Стандарт все еще в разработке
OpenTelemetry создала рабочую группу для разработки общих форматов трассировки агентов, но эти форматы еще не завершены. По мнению авторов, группа должна срочно включить стандарты для сохранения идентичности агентов, а также для записи человеческих вмешательств и изменений разрешений или памяти. Эта работа должна быть завершена до широкомасштабного развертывания таких систем. Также необходимо учитывать последствия для приватности от связывания идентификатора агента с реальными людьми.
