Proibir os modelos de pesos abertos para limitar os riscos cibernéticos poderá, segundo o autor de um artigo de opinião publicado no Substack, ir contra a competitividade norte-americana e aumentar os riscos a longo prazo. Ele considera que o debate está bloqueado por não ter em conta os compromissos e as realidades difíceis.
Três posições no debate
O autor distingue três correntes. A primeira julga que os modelos de pesos abertos, ou seja, cujos parâmetros são publicados e podem ser descarregados, representam um risco inaceitável para o funcionamento da sociedade. Reúne a direção de alguns laboratórios de IA de ponta e a comunidade da segurança nacional norte-americana. A segunda, na qual se inclui, defende que estes modelos são necessários para a defesa e que proibir o seu uso tornaria o mundo menos seguro. Reúne vozes ocidentais moderadas, incluindo a da Hugging Face após o incidente envolvendo a OpenAI, bem como Joshua Saxe. A terceira agrupa as empresas chinesas, que continuam a publicar modelos de pesos abertos com fortes capacidades cibernéticas, com base na sua própria avaliação de riscos.
O texto critica o relatório da Anthropic sobre os riscos do modelo GLM-5.3, utilizável como ferramenta de ciberataque ofensivo, por não abordar as questões transversais. Os trabalhos técnicos são considerados razoáveis, mas o autor nota que nenhuma análise aborda os efeitos de uma proibição dos modelos abertos nem as razões pelas quais as empresas chinesas consideram estes modelos seguros para publicação.
Dados, compromissos e uma governação diferente
Para o autor, os ataques documentados até à data estão sobretudo ligados a modelos fechados, acessíveis por interface de programação (API), e cita em particular numerosos ataques atribuídos a modelos da OpenAI. Apresenta várias explicações possíveis, sem se pronunciar: os modelos abertos, tal como as APIs fechadas, poderão ser ambos fáceis de desviar, ou os atores maliciosos dispostos a visar infraestruturas críticas poderão ser poucos. Salienta também que, em certas áreas sensíveis, os modelos abertos são os únicos utilizáveis em redes isoladas da internet.
Segundo ele, a China aborda a segurança da IA de forma própria à sua cultura e às suas estruturas de poder. De acordo com a sua compreensão, as empresas chinesas devem declarar cada grande lançamento de modelo ao governo, incluindo as avaliações, mas não é claro que este dispositivo se estenda aos riscos cibernéticos ou biológicos. Considera também que avaliações de segurança completas sobre um modelo como o Kimi K3 poderão custar dezenas de milhões de dólares em computação.
Durante o seu anúncio, o Claude Mythos foi apresentado como uma nova classe de arma cibernética. O autor considera que esta apresentação estava errada, e que uma difusão acidental deste modelo em pesos abertos teria sobretudo acelerado os incidentes em vez de criar uma rutura. Segundo ele, o GLM-5.3 ultrapassa agora o limiar de capacidade mencionado, e, mais de um mês após a sua publicação em pesos abertos, poucas provas públicas indicam que a situação tenha mudado muito.
