Un agente de IA que impresiona en una demostración puede fracasar en cuanto se enfrenta a usuarios reales y datos reales. En una guía publicada por Analytics Vidhya, la evaluación de estos sistemas se presenta como un proceso de cinco capas, que va desde la verificación del resultado final hasta la monitorización en producción.
Según la guía, un agente puede elegir la herramienta incorrecta, quedarse en bucle en una interfaz de programación (API) que falla, exponer datos que no debería ver o inventar una cifra en un informe. Evaluar un agente es un ejercicio diferente de evaluar un modelo de lenguaje, porque cada paso entre el objetivo y el resultado puede fallar.
Definir qué significa « tener éxito »
Antes de escribir cualquier prueba, la guía recomienda definir el éxito. Propone responder a cuatro preguntas: cuál es la tarea, qué se considera completada, qué nunca debe ocurrir y cuál es el coste de un error. Una mala respuesta en una FAQ interna tiene poco coste, mientras que una acción incorrecta en un agente de pago no.
Este coste fija el nivel de exigencia. Un agente de bajo riesgo puede ponerse en servicio con un 90 % de éxito en las tareas, revisándose los demás casos por un humano. Un agente de alto riesgo puede requerir un 99 % o más en los flujos críticos, así como un bloqueo firme de ciertas acciones, independientemente de la voluntad del modelo.
Cinco capas a verificar
La primera capa se centra en el resultado: ¿ha cumplido el agente la tarea? La guía aconseja controlar el estado real, por ejemplo el calendario, en lugar de la declaración del agente. La segunda concierne a la trayectoria, es decir, la secuencia de acciones. Dos agentes pueden llegar a la misma respuesta, uno en cuatro pasos, el otro en 19, y el número de pasos no basta para distinguirlos. Se examinan entonces los bucles, la elección de herramientas, la corrección de los parámetros y la manera en que el agente se recupera de un error.
La tercera capa aísla los componentes defectuosos: planificador, recuperación documental, herramientas, memoria y generación de la respuesta. Para un sistema de generación aumentada por recuperación (RAG), que se apoya en documentos externos, la guía cita las métricas recall@k y precision@k. La cuarta capa se centra en la seguridad: inyección de instrucciones maliciosas en un documento leído por el agente, fuga de datos, cumplimiento de los derechos de acceso y las normas de la empresa, tratamiento de datos personales. La guía insiste en un punto: los permisos deben aplicarse en el código, fuera del modelo, y nunca depender únicamente del prompt. La quinta capa es operativa: latencia, coste por tarea, fiabilidad y rendimiento bajo carga.
Jueces, humanos y métricas
Para puntuar los resultados, la guía distingue tres métodos: los controles programados, los « LLM-as-judge », donde un modelo de lenguaje puntúa una respuesta según una plantilla, y la revisión humana. Los jueces automáticos presentan sesgos conocidos, como la preferencia por la primera respuesta de una comparación o por la respuesta más larga.
Las métricas de fiabilidad distinguen dos indicadores. El pass@k es la probabilidad de que al menos uno de los k intentos tenga éxito, mientras que el pass^k es la probabilidad de que todos tengan éxito. En el ejemplo de la guía, con un éxito del 80 % en cada intento, supuesto independiente, la probabilidad de que al menos uno de los cinco intentos tenga éxito es de aproximadamente un 99,97 %, frente a aproximadamente un 32,8 % para el éxito de los cinco intentos. La guía recomienda finalmente revisar los fallos cada semana y añadir cada nuevo caso al conjunto de pruebas.
