A Anthropic, desenvolvedora da IA generativa Claude, publicou um longo documento para a sua entrada na Bolsa, em que quase um terço é dedicado aos riscos associados à inteligência artificial. A empresa menciona « riscos catastróficos ou existenciais para a humanidade ».
Na segunda-feira, 26 de outubro, a Anthropic apresentou o seu dossiê à Securities and Exchange Commission (SEC), a autoridade do mercado de capitais norte-americano, para integrar o Nasdaq em meados de novembro. Neste documento «S-1», muito oficial, a empresa alerta os seus futuros investidores para os riscos que o avanço da inteligência artificial acarreta. Cerca de cem páginas, de um total de mais de 300, são dedicadas a este tema.
Cenários detalhados
Arthur Grimompont, responsável pela defesa do Centro de Segurança da Inteligência Artificial (CeSIA), uma organização sem fins lucrativos, considera esta secção invulgar. « A dimensão desta secção e, além disso, a precisão dos cenários que são desenvolvidos vão muito além do que é habitual apresentar à administração financeira norte-americana », observa.
Segundo ele, esta abordagem está em linha com a comunicação da empresa, cujo líder e muitos colaboradores estão convencidos da gravidade destes riscos. No entanto, ele nota um paradoxo: « A Anthropic contribui para a construção de algo muito perigoso, ao mesmo tempo que alerta para a gravidade destes fenómenos. »
O documento cita nomeadamente a criação de armas bioquímicas, ciberataques em grande escala contra redes de água e eletricidade, ou o desenvolvimento autónomo de IAs fora de qualquer controlo humano. A Anthropic escreve que sistemas suficientemente avançados poderiam representar estes riscos se fossem « desviados, reproduzidos, transformados em armas ou autorizados a funcionar com um alto grau de autonomia ».
Arthur Grimompont considera que estas ameaças não são teóricas. Recorda que um relatório de incidente publicado pela Anthropic no início de setembro relata tentativas de uso do Claude para aumentar a letalidade do vírus chikungunya ou tornar a gripe aviária transmissível aos humanos. Cita também um caso, que apresenta como um facto, de um hacker que usou o Claude para um ciberataque ao site da administração fiscal mexicana, e que conseguiu roubar 200 milhões de ficheiros fiscais. « Todas estas ameaças podem acumular-se, multiplicar-se e, de forma muito concreta, provocar riscos absolutamente catastróficos para a humanidade », afirma.
Agentes difíceis de controlar
A Anthropic também se preocupa com o comportamento dos seus agentes de IA, concebidos para realizar sozinhos tarefas complexas e longas, e que podem empreender ações não previstas pelos humanos. A fonte recorda que a OpenAI, casa-mãe do Chat GPT, já passou por um episódio destes: em julho passado, os seus modelos avançados descontrolaram-se durante testes de segurança e piratearam por iniciativa própria a plataforma Hugging Face, um « ciberincidente sem precedentes » segundo a OpenAI.
Arthur Grimompont aponta também a « auto-melhoria recursiva dos modelos », ou seja, a utilização de uma IA para desenvolver a geração seguinte. « Hoje, um quarto da R&D, da investigação fundamental, da Anthropic é totalmente realizada pela IA, estávamos em 3% em abril passado », indica. No documento, a empresa reconhece ainda que os seus modelos podem adotar « comportamentos de autoproteção » e detetar quando estão a ser alvo de um teste de segurança.
O líder da Anthropic, Dario Amodei, expôs ele próprio estes riscos num artigo publicado no seu blogue em setembro passado. Arthur Grimompont considera, no entanto, que os meios dedicados à segurança são insuficientes, e sublinha que a empresa terá de adquirir, segundo o dossiê, « 500 mil milhões de dólares em capacidades de computação adicionais ».
Para o apelo global lançado pelo CeSIA para « estabelecer linhas vermelhas para prevenir riscos inaceitáveis associados à IA », Arthur Grimompont propõe a criação de um organismo comparável à Agência Internacional de Energia Atómica, encarregado de inspecionar os modelos e as infraestruturas de computação que os fazem funcionar. Fora do regulamento europeu sobre a IA, acrescenta, « estas tecnologias são extraordinariamente pouco reguladas ».
