A Anthropic está a usar IA para acelerar o desenvolvimento dos seus próprios modelos, de acordo com um novo relatório da organização de investigação em segurança de IA METR. Segundo o documento, os modelos da empresa estariam a progredir cerca de duas vezes mais rápido do que há um ano, sem sinais evidentes de abrandamento. O relatório também levanta uma questão: o que sabe realmente o público sobre este ritmo e os riscos que o acompanham?
- A Anthropic usa a IA para acelerar o desenvolvimento dos seus próprios modelos.
- Segundo a METR, o progresso recente equivale a cerca de dois anos num só ano.
- A empresa censurou grande parte do relatório público, o que dificulta a sua verificação.
- Investigadores criticam a falta de transparência e temem os riscos da autoaperfeiçoamento recursivo.
O relatório é o resultado de uma investigação de onze semanas realizada dentro da empresa, no âmbito de uma avaliação das suas atividades de investigação e desenvolvimento em IA. Segundo a METR, os resultados nos benchmarks sugerem que a Anthropic realizou «cerca de dois anos de progresso histórico no último ano». Os investigadores afirmam estar «confiantes» de que esta aceleração não se deve simplesmente ao aumento da capacidade de computação usada para treinar os modelos, um fator há muito considerado o principal motor dos avanços.
A IA está a acelerar a investigação da Anthropic
Segundo a METR, a maior parte da aceleração observada em outubro «deve-se à IA», e a sua contribuição estaria a aumentar com o tempo. Esta conclusão baseia-se em sondagens informais realizadas no Slack e em entrevistas com funcionários, que relatam ganhos significativos de produtividade. Em média, os funcionários que usam o modelo interno mais potente da empresa afirmam ser cerca de 12 vezes mais produtivos do que sem assistência de IA, ou seja, aproximadamente o dobro do que indicavam há alguns meses com o Mythos 5.
Por enquanto, esta aceleração provém sobretudo de uma IA que assiste os investigadores humanos, e não de uma IA que trabalha sozinha. No entanto, a METR alerta que «alguns sinais indicam que as contribuições totalmente autónomas desempenharão em breve um papel mais importante». Os investigadores não detetaram nenhum sinal claro de rendimentos decrescentes nem de estrangulamentos que possam impedir uma aceleração ainda mais rápida.
Além disso, três novos modelos da Anthropic concluíram o seu treino nos últimos seis meses sem terem sido publicados. São designados pelos nomes de código Model 2, Model 3 e Model 4, cujo treino terminou respetivamente em julho, entre agosto e setembro, e entre setembro e outubro. A METR menciona também um modelo não publicado datado de 2022, chamado Unreleased 2022. Os investigadores especificam que «estes são os nomes de código que nos foram comunicados; entendemos que têm nomes internos diferentes».
Informações censuradas
A Anthropic deu à METR acesso a informações não públicas, incluindo investigação confidencial, dados de desempenho dos modelos e entrevistas com funcionários. No entanto, o relatório especifica que o acesso não era ilimitado. A Anthropic tinha o direito de censurar a versão final, e a METR afirma ter submetido um relatório de cerca de 100 páginas, cuja versão pública foi amputada de «a maior parte das provas» que a organização considerava mais informativas.
A Anthropic justifica estas supressões pelo risco de beneficiar os seus concorrentes. A METR considera, por seu lado, que «a maior parte das informações censuradas era de nível muito elevado», sem se pronunciar sobre o carácter comercial destas escolhas. Numa longa mensagem publicada no X, o cofundador da Anthropic Sam McCandlish reconhece: «Censurámos muito, e aceito que isso torne mais difícil verificar o trabalho da METR.» Afirma que a empresa tomou «a decisão certa» e anuncia a publicação em breve do seu próprio relatório sobre a velocidade dos progressos em IA.
Uma pressão crescente sobre a transparência
O relatório suscitou fortes críticas entre os investigadores em segurança de IA. Daniel Kokotajlo, ex-investigador da OpenAI que dirige o AI Futures Project, acusa a Anthropic de «apostar de forma irresponsável com as nossas vidas». Brianna Rosen, diretora de investigação sobre segurança de modelos de ponta no Institute for AI Policy and Strategy, considera por seu lado que «o relatório não foi suficientemente transparente sobre as provas». A Anthropic recusou-se a responder às perguntas do The Verge e remeteu para a mensagem de Sam McCandlish.
O deputado de Nova Iorque Alex Bores apelou ao Congresso para «proibir a RSI, este ano se possível». A RSI, ou autoaperfeiçoamento recursivo, refere-se a sistemas de IA capazes de desenvolver, sem intervenção humana, sistemas sucessores cada vez mais poderosos. Marius Hobbhahn, fundador e diretor executivo da Apollo Research, considera que os resultados estão «globalmente em linha» com o que o setor esperava, «talvez um pouco mais rápidos», e avisa: «Preparem-se para a loucura. Isto está a avançar muito depressa.»
