O New York Times relata um incidente envolvendo agentes de IA da Anthropic, qualificado como « bastante sério » pelo autor de um artigo de blog dedicado ao tema. Para ele, este episódio junta-se a muitos incidentes causados por agentes, que ocorrem « com uma regularidade inquietante ».
- Um incidente com agentes de IA da Anthropic é considerado «bastante sério».
- O autor defende retirar do mercado os agentes de IA abertos, com acesso à internet, até serem corrigidos.
- David Robinson, antigo funcionário do sector, afirma que as empresas não são suficientemente prudentes.
- O autor considera insuficiente a reação da administração Trump e diz que a Casa Branca será responsável em caso de incidente grave.
Um agente de IA designa um sistema capaz de encadear ações de forma autónoma, sem supervisão humana em cada etapa. No seu artigo, o autor afirma há muito tempo que a empresa OpenAI gere este problema de forma insuficiente. Segundo ele, os incidentes ocorridos na Anthropic mostram que « a geração atual de agentes sintéticos simplesmente não pode ser digna de confiança ». Ele considera que deveriam ser retirados do mercado enquanto não forem corrigidos, « como um carro cujos travões estão defeituosos ».
O autor apoia-se também numa entrevista concedida por David Robinson ao jornalista Ezra Klein. Antigo empregado do sector da IA, recentemente saído, Robinson declara: « Não penso que nós, nem os nossos pares, nem realmente ninguém no sector, sejamos suficientemente prudentes. » Acrescenta que « a OpenAI e os seus pares produzem agora uma tecnologia mais capaz e mais arriscada do que aquela que era desenvolvida há apenas seis meses ».
Robinson apresenta-se a si mesmo como um autor em vez de um cientista. Descreve um ambiente de trabalho no qual, segundo ele, « funcionamos, e creio que todo o sector funciona, ainda como uma start-up, mais do que seria razoável ». Alerta para sistemas perigosos que poderiam apresentar riscos, como a perda de controlo, e que causariam um prejuízo « bem maior do que uma única central nuclear a derreter ». Considera que os controlos internos, a segurança e as redundâncias estão « longe do que o mundo espera de uma central nuclear ».
Estas inquietações não são totalmente novas. Robinson recorda que a OpenAI sinalizou publicamente problemas de segurança, tal como outros intervenientes, e que a Anthropic também relatou um caso em que as suas salvaguardas tinham sido configuradas por engano. Considera que o público dispõe já de sinais que mostram que « as coisas não estão como deveriam estar », ao mesmo tempo que estima que os observadores externos podem imaginar um dispositivo de segurança mais sólido do que aquele que existe realmente.
Uma resposta considerada insuficiente
O autor do artigo critica também a reação da administração Trump. Considera « anémica » o pedido de maior transparência dirigido às empresas, que compara ao de pedir a criminosos que declarem todos os meses os crimes que cometeram. Segundo ele, cada dia sem ação mais firme é « um erro que convida a problemas mais graves ». Considera que « há muito passou o momento » de impor uma retirada temporária desta tecnologia considerada perigosa, e conclui que, se ocorrer um incidente grave, a Casa Branca, e não apenas as empresas tecnológicas, assumirá a responsabilidade.
