Um agente de inteligência artificial pode produzir uma resposta convincente e desencadear uma ação que ninguém lhe tinha realmente confiado. Segundo a análise publicada aqui, é a fronteira entre capacidade técnica e autoridade delegada que deve tornar-se um objeto central da governação da IA.
O autor toma o exemplo fictício de uma empresa que confia a um agente a análise de reclamações de clientes. Para acelerar o tratamento, dá-lhe acesso ao seu CRM, ou seja, à sua ferramenta de gestão da relação com o cliente, e depois a uma ferramenta de reembolso. O agente recomenda primeiro gestos comerciais, antes de os executar nos limites técnicos dos seus acessos. Ora, poder desencadear um pagamento não significa ter recebido o mandato para decidir sobre esse pagamento.
A qualidade das respostas não basta para governar a ação
A avaliação de um modelo e a da sua autoridade respondem a duas questões diferentes. A primeira diz respeito à pertinência ou exatidão de um resultado, a segunda à legitimidade de uma ação numa situação dada. Uma recomendação exata pode exceder o mandato de um agente, enquanto uma recomendação incerta pode ficar sem consequências se a sua execução for corretamente enquadrada.
Para uma direção geral ou um DSI, a questão torna-se concreta: que decisões pode o sistema tomar, com que meios, em nome de quem e até que ponto? Uma lista de ferramentas autorizadas constitui um início, mas não especifica as condições de utilização aceitáveis. Um acesso ao CRM pode servir para consultar um processo, modificar um dado ou exportar contactos. Estas operações não têm nem a mesma finalidade nem as mesmas consequências, e a governação deve ligá-las a um mandato explícito.
A erosão do controlo constrói-se nas sequências
O autor fala de erosão do controlo quando a capacidade real dos responsáveis para compreender, limitar e corrigir as ações diminui ao longo do funcionamento do sistema. Um agente recolhe informações, um segundo sintetiza-as, um terceiro prepara uma decisão e um quarto executa-a. Cada um pode respeitar o seu papel imediato, enquanto o conjunto pode produzir uma consequência que o responsável inicial não tinha previsto. Uma hipótese torna-se um dado de trabalho, esse dado torna-se uma justificação, e depois a justificação desencadeia uma ação.
A deriva de autoridade pode manter-se discreta. Aparece quando um sistema alarga de facto o seu perímetro, por exemplo transformando uma instrução de análise numa autorização de execução. O bom nível de observação é, portanto, a cadeia que liga o mandato humano à consequência final. A presença de um botão de validação não basta para estabelecer um controlo efetivo: o supervisor deve dispor de informações compreensíveis, de tempo suficiente e de meios de intervenção adequados. No exemplo do reembolso, a validação deveria ocorrer antes da operação e apresentar o montante, o motivo, as incertezas e a regra aplicável.
Organizar um controlo verificável
O autor propõe cinco exigências. Primeiro, formular o mandato: objetivo, perímetro, duração e atos excluídos, pois «tratar as reclamações» é demasiado amplo se as decisões autorizadas não forem especificadas. Depois, fazer corresponder as permissões ao mandato, limitando os acessos às operações necessárias e podendo retirá-las no final da missão. É também necessário colocar os controlos antes das consequências difíceis de corrigir, por exemplo através de um limiar de montante ou de uma alteração do destinatário. Segue-se a conservação de um registo utilizável, proporcional e protetor dos dados. Por fim, é preciso testar a capacidade de retoma, pois algumas consequências sendo irreversíveis, a possibilidade de parar o sistema deve ser avaliada antes da implementação.
As regras de supervisão podem elas próprias tornar-se inadequadas quando o volume, as ferramentas ou as responsabilidades mudam. Um motor de regras determinista pode tornar certas verificações reproduzíveis, sem garantir a qualidade dos factos recebidos nem a pertinência das regras. Antes de estender a autonomia de um agente, os decisores deveriam poder demonstrar quem lhe deu o direito de agir, dentro de que limites e como retomar o controlo.
