Com os agentes de IA, o risco muda de natureza. Um erro já não se limita a uma resposta falsa ou imprecisa: pode tornar-se uma decisão e, depois, uma ação no sistema de informação. Segundo o Capgemini Research Institute, estes agentes poderão gerar até 450 mil milhões de dólares de valor até 2028, enquanto 15% dos processos empresariais poderão atingir um nível de autonomia parcial ou total nos próximos doze meses.
Quanto mais os agentes entrarem na cadeia de criação de valor, mais o controlo do seu poder de ação dependerá da governação tanto como da cibersegurança. O texto sublinha assim que o debate, durante muito tempo centrado nos modelos, nos seus dados, nos seus enviesamentos ou nas suas alucinações, deve agora incidir sobre a arquitetura do poder no sistema de informação.
Não confundir delegação com transmissão de privilégios
O reflexo consiste muitas vezes em permitir que o agente aja « em nome de » o seu utilizador e em transmitir-lhe os seus direitos. Este funcionamento, já observado, é considerado aqui erróneo. Um diretor financeiro acede legitimamente à tesouraria, às remunerações, ao reporting ou a certas operações estratégicas, enquanto um agente encarregado de conciliar faturas só precisa de uma fração desses privilégios. Transmitir-lhe a identidade do DAF equivale a confundir o poder de quem dá a missão com o de quem a executa.
Um software dispõe de permissões, enquanto um agente deve receber um mandato. Segundo o texto, este mandato deve assentar numa identidade própria, numa missão determinada, em recursos acessíveis, numa duração, em ações autorizadas e numa capacidade de revogação. O poder efetivo do agente deve limitar-se à interseção entre os seus próprios direitos, os do utilizador e o que exige a missão, « nunca à sua soma ». A regra torna-se decisiva quando vários agentes colaboram: delegar uma tarefa nunca deve permitir delegar mais poder.
O tema já é concreto em algumas empresas, nomeadamente no setor bancário, onde ambientes de IA generativa seguros e governados são implementados junto dos colaboradores. Quando estes ambientes evoluem para agentes capazes de intervir nos processos empresariais, proteger os dados já não basta: é preciso também governar a autoridade confiada à máquina.
Dar uma identidade aos agentes para lhes conceder autonomia
A Cloud Security Alliance estima que as identidades não humanas, contas de serviço, chaves de API, certificados, tokens ou identificadores usados pelos agentes, são em média 45 vezes mais numerosas do que as identidades humanas nas empresas. É, portanto, necessário saber exatamente quem age. O texto distingue a este respeito o Proprietário do Agente (Agent Owner), responsável pelo agente em produção e pelo seu ciclo de vida, o próprio agente, dotado de direitos próprios, e o utilizador em nome do qual ele intervém.
Esta governação pressupõe uma rastreabilidade de ponta a ponta. A empresa deve poder reconstituir as ações do agente, as suas interações com o sistema de informação e as fontes de dados que mobiliza. Esta visibilidade deve permitir detetar comportamentos não conformes, desencadear alertas ou salvaguardas e, para funções críticas ou sensíveis, manter uma validação humana enquanto o funcionamento do agente não tiver sido suficientemente testado.
Segundo esta análise, o objetivo não é limitar a autonomia dos agentes, mas criar as condições para a confiança. Quanto mais uma empresa souber identificar os seus agentes, delimitar o seu mandato, seguir as suas ações e conservar uma capacidade de intervenção humana, mais poderá confiar-lhes responsabilidades importantes. A questão, conclui o texto, já não será apenas saber que IA a empresa usa, mas a quem deu as chaves do seu sistema de informação, sob que identidade e sob que controlo.
