Como avaliar agentes de IA na empresa

Como avaliar agentes de IA na empresa
3 min de leitura

Um agente de IA que impressiona numa demonstração pode falhar assim que é confrontado com utilizadores reais e dados reais. Num guia publicado pela Analytics Vidhya, a avaliação destes sistemas é apresentada como um processo de cinco camadas, que vai da verificação do resultado final à monitorização em produção.

Segundo o guia, um agente pode escolher a ferramenta errada, entrar em ciclo numa interface de programação (API) que falha, expor dados que não deveria ver ou inventar um número num relatório. Avaliar um agente é um exercício diferente da avaliação de um modelo de linguagem, porque cada etapa entre o objetivo e o resultado pode falhar.

Definir o que significa « ter sucesso »

Antes de escrever qualquer teste, o guia recomenda definir o sucesso. Propõe responder a quatro perguntas: qual é a tarefa, o que conta como terminado, o que nunca deve acontecer e qual é o custo de um erro. Uma resposta errada num FAQ interno tem um custo baixo, enquanto uma ação errada num agente de pagamento não.

Este custo define o nível de exigência. Um agente de baixo risco pode ser colocado em serviço com 90% de sucesso das tarefas, sendo os outros casos revistos por um humano. Um agente de alto risco pode exigir 99% ou mais nos percursos críticos, bem como um bloqueio firme de certas ações, independentemente da vontade do modelo.

Cinco camadas a verificar

A primeira camada diz respeito ao resultado: o agente cumpriu a tarefa? O guia aconselha a verificar o estado real, por exemplo, o calendário, em vez da declaração do agente. A segunda diz respeito à trajetória, ou seja, à sequência de ações. Dois agentes podem chegar à mesma resposta, um em quatro passos, outro em 19, e o número de passos não basta para os distinguir. Examina-se então os ciclos, a escolha das ferramentas, a correção dos parâmetros e a forma como o agente se recupera de um erro.

A terceira camada isola os componentes com falhas: planeador, recuperação documental, ferramentas, memória e geração da resposta. Para um sistema de geração aumentada por recuperação (RAG), que se baseia em documentos externos, o guia cita as métricas recall@k e precision@k. A quarta camada diz respeito à segurança: injeção de instruções maliciosas num documento lido pelo agente, fuga de dados, respeito pelos direitos de acesso e pelas regras da empresa, tratamento de dados pessoais. O guia insiste num ponto: as permissões devem ser aplicadas no código, fora do modelo, e nunca depender apenas do prompt. A quinta camada é operacional: latência, custo por tarefa, fiabilidade e desempenho sob carga.

Juízes, humanos e métricas

Para classificar os resultados, o guia distingue três métodos: os controlos programados, os « LLM-as-judge », em que um modelo de linguagem classifica uma resposta segundo uma grelha, e a revisão humana. Os juízes automáticos apresentam enviesamentos conhecidos, como a preferência pela primeira resposta de uma comparação ou pela resposta mais longa.

As métricas de fiabilidade distinguem dois indicadores. O pass@k é a probabilidade de pelo menos uma das k tentativas ter sucesso, enquanto o pass^k é a probabilidade de todas terem sucesso. No exemplo do guia, com uma taxa de sucesso de 80% em cada tentativa, suposta independente, a probabilidade de pelo menos uma das cinco tentativas ter sucesso é de cerca de 99,97%, contra cerca de 32,8% para o sucesso das cinco tentativas. O guia recomenda finalmente rever as falhas todas as semanas e adicionar cada novo caso ao conjunto de testes.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x