Os agentes de inteligência artificial apresentam problemas que a IA generativa por si só não apresenta, e a sua observação enquanto trabalham torna-se, portanto, mais difícil e mais importante. Investigadores do meio académico, da sociedade civil e da indústria examinaram os sinais emitidos pelos quatro frameworks de agentes mais utilizados e identificaram lacunas significativas.
Ao contrário de um sistema de IA generativa, que produz uma única resposta que um humano depois deve utilizar, um agente executa uma sequência de tarefas mais longa: planifica, escolhe ferramentas, cria subagentes e executa ações. Além disso, um agente depende de grandes modelos de linguagem (LLM), dos quais herda a imprevisibilidade. O seu percurso pode, portanto, assumir formas muito variadas, e nenhum teste realizado antes do lançamento permite antecipar totalmente os riscos.
Segundo os autores, estes frameworks não permitem identificar facilmente violações de regras, ações não autorizadas ou falhas na supervisão humana. Vários elementos indispensáveis à observação estão em falta, como identificadores de agentes persistentes ao longo do tempo, ou registos que indiquem quais os humanos que aprovaram determinada tarefa. Nestas condições, torna-se difícil saber qual o agente que fez o quê e verificar se agiu sem autorização.
Dois tipos de rastreios
Os investigadores consideram que estas lacunas podem ser colmatadas, desde que se comece por registar dois tipos de rastreios. Os primeiros descrevem o que aconteceu durante a execução: identificam o agente enquanto preservam a privacidade, registam as intervenções humanas e indicam se as permissões do agente ou a sua «memória» foram alteradas. Os segundos dizem respeito às decisões: reconstroem o raciocínio do agente e o seu nível de confiança nas ações que realizou.
Os autores dão o exemplo de agentes encarregues de processar os pedidos de empréstimo hipotecário de um banco. O sistema examina um processo e recomenda a sua recusa, depois um conselheiro humano valida a decisão. Durante uma auditoria posterior, ou mesmo em tempo real, o banco ou um regulador deve conseguir reconstituir qual o agente que tomou a decisão, qual o conselheiro que a aprovou e quanto tempo demorou. O banco também deve analisar como o agente chegou à sua recusa, para se assegurar de que não utilizou informações proibidas, como dados sobre o bairro de origem do candidato.
Segundo o artigo, registar «o que aconteceu» e «como o agente decidiu» pressupõe abordagens diferentes, mas ambas são realizáveis. A ausência atual de rastreios do primeiro tipo deve-se sobretudo à infraestrutura de software. Pode ser resolvida com OpenTelemetry, um padrão aberto de observabilidade, mantido por engenheiros de toda a indústria e adotado progressivamente pelos frameworks de agentes.
Um padrão ainda em construção
O OpenTelemetry criou um grupo de trabalho encarregue de redigir formatos comuns para o rastreio de agentes, mas estes formatos ainda não estão finalizados. Segundo os autores, este grupo deve integrar urgentemente normas para a persistência da identidade dos agentes, bem como para o registo das intervenções humanas e das alterações de permissões ou de memória. Este trabalho deve ser concluído antes de estes sistemas serem implementados em larga escala. Deve também ter em conta as implicações para a privacidade de um identificador de agente ligado a pessoas reais.
