Num texto publicado pela MIT Technology Review, os autores defendem que a confiança na inteligência artificial não pode assentar na previsão do seu comportamento. Segundo eles, ela passa antes por limites estritas, aplicadas fora do alcance do sistema. Um guarda-freio que a própria IA pode deslocar não o é verdadeiramente.
O texto toma o exemplo da OpenAI: os guarda-freios estavam dentro de um sistema que os agentes podiam modificar. Os softwares tradicionais executam instruções escritas por humanos. A IA, por sua vez, exerce o que os autores chamam de « juízo sintético »: interpreta situações que ninguém programou e produz respostas que ninguém prescreveu. Quanto mais liberdade se lhe concede, mais difícil se torna garantir a previsibilidade sobre a qual a confiança historicamente se construiu.
Os limites das definições clássicas de confiança
O texto recorda duas abordagens recentes tratadas pela publicação. A primeira considera insuficiente colocar um humano no circuito, porque os humanos são fundamentalmente incapazes de compreender as intenções dos sistemas de IA, e defende uma investigação interdisciplinar que associe universidade, poderes públicos e indústria tecnológica. A segunda descreve o uso de incentivos para impedir que os modelos se afastem das regras, mesmo quando ninguém sabe como funcionam internamente. Ambas reconhecem ser impossível compreender ou monitorizar cada decisão da IA.
Ora, as nossas ferramentas de confiança, sejam elas requisitos, testes, certificação, margens de segurança, bloqueios ou critérios de sucesso e insucesso, assentam todas na capacidade de delimitar o comportamento de um sistema. Os autores falam aqui do « paradoxo do determinismo ». Com a IA generativa e os agentes, esse comportamento depende dos dados de treino, da arquitetura, das instruções, do contexto, das fontes consultadas e do ambiente. As entradas mudam, os modelos são atualizados, as ferramentas evoluem e os agentes interagem entre si. Pequenas variações propagam-se até resultados que ninguém concebeu.
O problema não é o acaso, afirma o texto, mas o espaço de comportamentos possíveis, demasiado vasto para ser enumerado de antemão. A confiança deve, portanto, ser construída em torno de fronteiras e não de resultados previstos. O objetivo não é uma IA determinista, mas uma IA « delimitada, observável e controlável ». Também não pode ser um teste pontual: a IA continua a evoluir após a sua implementação, e um sistema que passou todos os testes pode sair das condições que lhes davam sentido. Segundo o texto, a confiança deve ser « continuamente conquistada ».
A engenharia da segurança tem em conta há décadas parte desta variabilidade. A Nuclear Regulatory Commission baseia-se na avaliação probabilística de riscos para estimar a probabilidade de falhas em sistemas complexos. O modelo STAMP demonstrou que acidentes podem nascer das interações entre componentes, pessoas e organizações que, no entanto, funcionam corretamente. A IA muda o paradigma, porque um único componente pode agora interpretar, deduzir e agir. Os riscos aumentam à medida que a IA passa dos navegadores para veículos, robôs, sistemas médicos, controlos industriais e centros de dados, onde uma resposta errada pode tornar-se um evento que ameaça vidas.
Construir uma confiança que escale
Uma pessoa a validar milhares de ações de IA por hora não constitui, segundo o texto, um guarda-freio aceitável nem escalável. A solução não é, contudo, retirar o humano do circuito, mas colocar o seu juízo onde importa: fixar limites antecipadamente, depois aprovar as raras ações com consequências graves, enquanto restrições estritas gerem o resto.
A confiança deve, portanto, remontar até à arquitetura do sistema. Os autores colocam três questões: que autoridade conceder à IA, em que condições, e apoiada em que provas? Acrescentam uma quarta interrogação, a do que acontece fora dessas condições. Esta abordagem, concluem em substância, difere muito da questão de saber se um modelo obteve 94% num benchmark, ou seja, num teste de referência.
