Los agentes de inteligencia artificial plantean problemas que la IA generativa por sí sola no plantea, y su observación mientras trabajan se vuelve por tanto más difícil y más importante. Investigadores del mundo académico, la sociedad civil y la industria han examinado las señales emitidas por los cuatro frameworks de agentes más utilizados, y han detectado deficiencias importantes.
A diferencia de un sistema de IA generativa, que produce una única respuesta que un humano debe luego explotar, un agent encadena tareas más largas: planifica, elige herramientas, crea subagentes y ejecuta acciones. Un agente se basa además en grandes modelos de lenguaje (LLM), de los que hereda la imprevisibilidad. Su desarrollo puede por tanto tomar formas muy variadas, y ninguna prueba realizada antes del lanzamiento permite anticipar plenamente los riesgos.
Según los autores, estos frameworks no permiten detectar fácilmente violaciones de reglas, acciones no autorizadas o fallos de la supervisión humana. Varios elementos indispensables para la observación faltan, como identificadores de agentes persistentes en el tiempo, o registros que indiquen qué humanos han aprobado tal tarea. En estas condiciones, se vuelve difícil saber qué agente hizo qué y verificar si actuó sin autorización.
Dos tipos de trazas
Los investigadores estiman que estas deficiencias pueden subsanarse, con la condición de empezar por registrar dos tipos de trazas. Las primeras describen lo que sucedió durante la ejecución: identifican al agente preservando la privacidad, consignan las intervenciones humanas e indican si los permisos del agente o su «memoria» han cambiado. Las segundas conciernen a las decisiones: reconstruyen el razonamiento del agente y su nivel de confianza en las acciones que llevó a cabo.
Los autores toman el ejemplo de agentes encargados de procesar las solicitudes de préstamos inmobiliarios de un banco. El sistema examina un expediente y recomienda rechazarlo, luego un asesor humano valida la decisión. Durante una auditoría posterior, o incluso en tiempo real, el banco o un regulador debe poder reconstruir qué agente tomó la decisión, qué asesor la aprobó y cuánto tiempo tomó. El banco también debe analizar cómo el agente llegó a su rechazo, para asegurarse de que no utilizó información prohibida, como datos sobre el barrio de origen del candidato.
Según el artículo, registrar «lo que sucedió» y «cómo decidió el agente» supone enfoques diferentes, pero ambos son realizables. La ausencia actual de trazas del primer tipo se debe sobre todo a la plomería de software. Puede tratarse gracias a OpenTelemetry, un estándar abierto de observabilidad, mantenido por ingenieros de toda la industria y adoptado progresivamente por los frameworks de agentes.
Un estándar aún en obras
OpenTelemetry ha lanzado un grupo de trabajo encargado de redactar formatos comunes para el trazado de agentes, pero estos formatos no están aún finalizados. Según los autores, este grupo debería integrar urgentemente normas para la persistencia de la identidad de los agentes, así como para el registro de las intervenciones humanas y los cambios de permisos o de memoria. Este trabajo debería completarse antes de que estos sistemas se desplieguen a gran escala. También deberá tener en cuenta las implicaciones para la privacidad de un identificador de agente vinculado a personas reales.
