Qualquer inteligência artificial pode enganar-se, e nenhuma comparação dirá qual se enganará na resposta que importa. Para as empresas, a questão da escolha de uma IA coloca-se, portanto, uso a uso, consoante o que um erro implicaria. Um método baseado numa análise de impacto permite decidir.
Tomemos um questionário de segurança enviado por um grande cliente, com uma longa lista de perguntas e um prazo curto. Uma equipa preenche-o com a ajuda de uma IA, revê rapidamente e depois o responsável pela segurança assina. À pergunta «as cópias de segurança estão encriptadas?», a IA responde sim, baseando-se numa política que entretanto mudou. Ninguém repara. O cliente, porém, irá detetá-lo na primeira auditoria, e a questão deixará de ser se a IA se enganou, mas quem assinou, e com base em quê.
Um erro de IA é recuperável enquanto permanece um rascunho. Torna-se custoso assim que uma pessoa o assume sob o cabeçalho da empresa. A mesma IA, com a mesma taxa de erro, pode ser inconsequente numa nota interna e perigosa numa resposta dirigida a um cliente. É por isso que a escolha da ferramenta deve ser feita para cada uso.
Quatro níveis, uma única pergunta
O método consiste em perguntar, para cada uso, o que está comprometido se a resposta for falsa e ninguém se aperceber. Quatro respostas são possíveis. Nada, no caso de uma nota interna, de uma reformulação ou de um rascunho revisto de qualquer forma. Trabalho, quando é necessário refazer um documento e perder tempo, sem compromisso assumido. Um compromisso, com uma resposta contratual, uma declaração a um cliente ou uma oferta. Finalmente, uma exposição, com um relatório regulamentar, uma certificação de conformidade ou um documento produzido sob o controlo de uma autoridade.
O comité de direção não tem de quantificar o custo de cada erro, porque nenhuma fonte o fornece antecipadamente. Deve decidir, para cada nível, o que a empresa aceita: assinar sem verificação, exigir ver a fonte, ou recusar que uma máquina produza o conteúdo. Trata-se de uma decisão de tolerância ao risco, tomada uso a uso e não uma vez por todas para «a IA».
A cada nível, a sua ferramenta
Para os dois primeiros níveis, uma IA generativa de consumo pode ser adequada, dentro dos limites do que se lhe pode confiar sem risco. Para os dois seguintes, a rapidez já não basta e impõem-se três exigências: que cada afirmação cite o documento, a página e a versão de onde foi retirada; que o sistema saiba indicar que não pode responder, porque uma resposta falsa paga-se perante um auditor; e que uma pessoa nomeada valide o conteúdo, com uma assinatura rastreável.
O autor acrescenta uma quarta exigência: a verificação não deve ser confiada ao modelo que redigiu. Investigadores demonstraram-no na conferência ICLR 2024, e um estudo mais recente vai no mesmo sentido: a verificação ganha eficácia quando quem controla se assemelha menos a quem respondeu. O controlo pode, portanto, ser assegurado por outra IA, especializada no negócio e nos documentos da empresa, que verifique cada afirmação face à sua fonte e assinale o que não consegue estabelecer. Um desacordo entre as duas IA não fornece a resposta correta, mas indica o local onde um humano deve olhar. Este controlo executa-se no espaço protegido da empresa, e não num terceiro.
O que o comité decide
A ordem do processo importa. Primeiro, é necessário inventariar os usos e determinar, para cada um, o que um erro silencioso implicaria. Segue-se a tolerância ao risco, nível a nível. A ferramenta só intervém por último, dimensionada para essa tolerância e não para a demonstração do fornecedor.
Voltemos ao questionário. Com este método, a resposta sobre as cópias de segurança teria mencionado a referência da política, a sua versão e data. Uma segunda IA, ou o revisor atento a essa data, teria constatado que a versão citada já não era a mais recente, e o responsável pela segurança teria assinado com conhecimento de causa. A máquina ter-se-ia enganado na mesma, mas alguém o saberia antes do cliente.
