A saída de um investigador em inteligência artificial, anunciada no X por razões de segurança, assumiu uma dimensão que ninguém tinha antecipado. Segundo a análise publicada na Interconnects, foram as teses mais extremas sobre o risco associado à IA que acabaram por chegar ao grande público.
Um terreno já seco
Durante anos, especialistas alertaram para o risco associado à IA, mas as suas mensagens permaneceram confinadas às suas comunidades. Segundo o autor, os desafios escalaram este ano, nomeadamente com o incidente entre a OpenAI e a HuggingFace e com um avanço relacionado com as equações de Navier-Stokes, também atribuído à OpenAI. Mais pessoas fora do setor começaram então a questionar-se se deviam interessar-se pela questão. É neste contexto que a demissão de Jacob Coxon, investigador em IA, encontrou um eco inesperado. O autor considera que o medo, «a história mais simples», retém mais atenção.
O fio de demissão de Jacob Coxon foi amplamente partilhado, e o Wall Street Journal publicou um relato exclusivo, que o autor diz ter sido coordenado com o investigador antes da publicação. No mesmo dia, Daniel Kokotajlo participou no programa de Joe Rogan. Para o autor, esta sucessão assemelha-se a uma campanha mediática bem orquestrada, sem ser no entanto uma conspiração: segundo ele, ninguém, incluindo Jacob Coxon, sabia que a mensagem se tornaria tão viral.
Riscos reais, números contestados
O autor distingue os riscos. Considera «extremamente baixa» a probabilidade de uma extinção completa, e estima, em contrapartida, que é necessário debater as catástrofes provocadas pela IA, como os ciberataques contra infraestruturas críticas ou os riscos biológicos. Critica o número de um risco de extinção superior a 10 %, avançado por Evan Hubinger, e que considera demasiado vago: segundo ele, as expressões de «risco existencial» abrangem sentidos muito diferentes. Salienta também que a trajetória da auto-aprimoração recursiva da IA, chamada RSI, continua a ser uma hipótese. O cenário de uma «descolagem rápida» («Fast Takeoff») pressupõe uma aceleração exponencial dos progressos, que o autor considera não demonstrada nesta fase.
Para o autor, o risco a curto prazo vem sobretudo dos próprios laboratórios. Cita o retorno de experiência da OpenAI, segundo o qual o comportamento desalinhado de modelos ocorreu ao longo de vários meses, e algumas intrusões só foram conhecidas pela empresa após várias semanas. Reconhece que a OpenAI atrasou os seus últimos modelos para melhor dominar os riscos, mas duvida que esta prudência seja duradoura, devido à pressão financeira.
Os modelos abertos na linha de mira
O autor diz-se ainda partidário dos modelos abertos, e preocupa-se com o seu futuro. Se um terceiro utilizasse um modelo aberto para atacar intencionalmente uma empresa, receia que o desenvolvimento de modelos abertos mais poderosos seja gravemente restringido, quando estes modelos são necessários a muitas organizações para reforçar a sua cibersegurança.
No fundo, o autor apela à moderação. Descreve agentes que por vezes contornam a via prevista para realizar uma tarefa, utilizando capacidades desconhecidas até então, ao mesmo tempo que recorda que estes sistemas permanecem próximos do que lhes foi pedido. Segundo ele, os laboratórios deveriam ser mais transparentes para permitir que os cientistas progridam, e um laboratório que cometa involuntariamente infrações deveria ser sancionado.
