The AI / news

Как оценивать ИИ-агентов в бизнесе

Как оценивать ИИ-агентов в бизнесе
3 мин чтения

ИИ-агент, впечатляющий на демонстрации, может провалиться, как только столкнется с реальными пользователями и реальными данными. В руководстве, опубликованном Analytics Vidhya, оценка таких систем представлена как пятиуровневый процесс, идущий от проверки конечного результата до мониторинга в рабочей среде.

Согласно руководству, агент может выбрать неправильный инструмент, зациклиться на неудачном вызове API, раскрыть данные, которые ему не положено видеть, или выдумать цифру в отчете. Оценка агента отличается от оценки языковой модели, потому что на каждом этапе между целью и результатом может произойти сбой.

Определить, что означает «успех»

Прежде чем писать какие-либо тесты, руководство рекомендует определить успех. Оно предлагает ответить на четыре вопроса: какова задача, что считается выполненным, чего никогда не должно происходить и какова цена ошибки. Неверный ответ во внутренней базе знаний малозатратен, тогда как неверное действие платежного агента — нет.

Эта цена задает уровень требований. Агент с низким уровнем риска можно ввести в эксплуатацию при 90% успешного выполнения задач, а остальные случаи проверять человеком. Агент с высоким риском может потребовать 99% и выше на критически важных сценариях, а также жесткой блокировки определенных действий независимо от желания модели.

Пять уровней для проверки

Первый уровень касается результата: выполнил ли агент задачу? Руководство советует проверять реальное состояние, например, календарь, а не заявления агента. Второй касается траектории, то есть последовательности действий. Два агента могут прийти к одному ответу, один за четыре шага, другой за 19, и количество шагов не позволяет их различить. Тогда исследуются циклы, выбор инструментов, корректность параметров и то, как агент восстанавливается после ошибки.

Третий уровень изолирует неисправные компоненты: планировщик, поиск документов, инструменты, память и генерацию ответа. Для системы генерации с извлечением (RAG), которая опирается на внешние документы, руководство упоминает метрики recall@k и precision@k. Четвертый уровень касается безопасности: внедрение вредоносных инструкций в документ, прочитанный агентом, утечка данных, соблюдение прав доступа и корпоративных правил, обработка персональных данных. Руководство настаивает на одном моменте: разрешения должны применяться в коде, вне модели, и никогда не должны полагаться только на промпт. Пятый уровень — операционный: задержка, стоимость за задачу, надежность и устойчивость к нагрузке.

Судьи, люди и метрики

Для оценки результатов руководство выделяет три метода: программные проверки, «LLM-as-judge», когда языковая модель оценивает ответ по заданным критериям, и проверку человеком. Автоматические судьи имеют известные предубеждения, такие как предпочтение первому ответу в сравнении или самому длинному ответу.

Метрики надежности различают два показателя. Pass@k — это вероятность того, что хотя бы одна из k попыток будет успешной, а pass^k — вероятность того, что все попытки будут успешными. В примере из руководства, при успешности 80% для каждой попытки (предполагается независимость), вероятность того, что хотя бы одна из пяти попыток будет успешной, составляет около 99,97%, против примерно 32,8% для успеха всех пяти попыток. Руководство в заключение рекомендует еженедельно пересматривать неудачи и добавлять каждый новый случай в тестовый набор.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x