Anthropic : agentes de IA acedem a dados internos

A startup de cibersegurança Cathedral afirma ter identificado, em menos de 12 horas, falhas em software de terceiros utilizados pela Anthropic, a editora do modelo Claude. A empresa confirma um acesso limitado a alguns sistemas internos, mas garante que as conversas dos utilizadores e os componentes dos seus modelos não foram consultados.

Os agentes de IA, ou seja, programas capazes de encadear várias tarefas de forma automatizada, podem acelerar tanto a procura de vulnerabilidades como as capacidades de ataque. De acordo com um relatório preliminar da Cathedral, uma jovem empresa de cibersegurança, os seus investigadores encontraram formas de acesso a vários sistemas internos da Anthropic em menos de 12 horas. Consultado pelo Washington Post, este documento refere informações potencialmente acessíveis, nomeadamente atas de reuniões, dados salariais e trocas de mensagens no Slack relacionadas com os modelos de IA avançados da empresa.

A Anthropic esclarece que os investigadores passaram vários dias a tentar, sem sucesso, penetrar diretamente o seu software. Ter-se-iam depois virado para aplicações profissionais de terceiros vulneráveis. As « menos de 12 horas » correspondem, portanto, apenas à fase de pesquisa bem-sucedida, e não ao conjunto das tentativas. De acordo com as informações publicadas, o acesso não teria sido obtido atacando diretamente o Claude ou a sua infraestrutura de treino, mas explorando software utilizado para as atividades comerciais e administrativas. Os editores deste software não foram identificados publicamente.

Um programa de divulgação no centro do caso

A Cathedral foi fundada por antigos membros do Department of Government Efficiency (DOGE), o organismo da administração Trump encarregado de reduzir as despesas públicas. A empresa desenvolve capacidades de cibersegurança baseadas em IA, nomeadamente para usos governamentais. Afirma ter conduzido a sua investigação no âmbito do programa de divulgação de vulnerabilidades da Anthropic, que autoriza investigadores externos a testar certas proteções e a reportar as falhas descobertas, e indica ter comunicado os seus resultados à editora e aos fornecedores em causa.

Uma amplitude contestada

A Anthropic reconhece que os investigadores atingiram um perímetro limitado dos seus sistemas comerciais, de recursos humanos e informáticos. Dados de contacto profissionais de clientes e parceiros, bem como informações elementares sobre algumas contas de utilizador, estavam acessíveis. Por outro lado, a empresa afirma que as conversas dos utilizadores com o Claude, as respostas do modelo, o código-fonte e os parâmetros treinados não foram consultados. Indica que os seus mecanismos de monitorização tinham detetado parte da atividade da Cathedral antes do reporte dos investigadores, que cortou os acessos no mesmo dia e desativou o software em causa à espera de correções por parte dos seus fornecedores. Afirma, por fim, não dispor de qualquer elemento que mostre que outros atores tenham explorado as mesmas vulnerabilidades.

As duas empresas divergem na interpretação do incidente. A Cathedral apresenta os seus resultados como um aviso sobre as capacidades ofensivas emergentes da IA. A Anthropic considera, pelo contrário, que a startup exagerou as implicações das suas descobertas para a segurança nacional, e acusa-a de não ter declarado a totalidade das suas atividades em conformidade com as regras do programa de investigação. As informações publicadas não permitem, nesta fase, concluir que houve uma comprometição dos modelos da Anthropic. Estabelecem, no entanto, que um acesso limitado a aplicações profissionais pode expor informações sensíveis.