Anthropic tenta certificar matematicamente a inferência dos seus modelos

Anthropic tenta certificar matematicamente a inferência dos seus modelos
3 min de leitura

A Anthropic apresentou o FlashProve, um sistema totalmente baseado em software que visa verificar que um fornecedor de serviços de IA na nuvem está realmente a executar o modelo anunciado. A empresa insere-se assim no campo da investigação designada por zKML (Zero-Knowledge Machine Learning), que assenta em provas de conhecimento zero, uma técnica que permite demonstrar que um cálculo foi efetuado sem revelar os seus elementos internos.

  • A Anthropic apresenta o FlashProve, um sistema que prova que o fornecedor executa o modelo anunciado.
  • A prova não revela os pesos do modelo, e o cliente recebe-a a posteriori.
  • Gerar a prova exige 72 a 94 vezes mais tempo de cálculo do que a inferência bruta.
  • O sistema limita-se, por agora, a contextos de 1024 tokens e pode divergir com vírgula flutuante ou amostragem.

O mecanismo permite estabelecer que uma resposta é efetivamente o resultado do cálculo de um determinado modelo, sem que os pesos do modelo, ou seja, os seus parâmetros aprendidos, sejam divulgados. O servidor gera primeiro um « compromisso », uma impressão digital que fixa a escolha exata dos pesos. A pedido de um cliente, produz depois um ficheiro de prova.

Desempenhos medidos numa configuração precisa

A Anthropic comunica resultados obtidos com uma configuração bem definida: um modelo MoE (de mistura de peritos, que ativa apenas uma parte dos seus componentes em cada cálculo), o Llama 4 Maverick, quantizado em 4 bits, ou seja, reduzido a uma precisão mais baixa. O servidor utilizado dispõe de uma GPU H100 e de 24 núcleos de CPU, e as sequências de saída de 1024 tokens são processadas em lotes de 24.

De acordo com estas medições, a geração da impressão digital inicial demora cerca de 39 minutos, e o seu peso atinge alguns MB. Pode ser reutilizada para cerca de 16 milhões de pedidos antes de ter de ser recalculada. O débito de geração das provas ronda os 110 tokens por segundo, e uma prova pesa em média 18,78 MB. A sua validação num núcleo de CPU demora 21 segundos.

Um tempo de cálculo muito superior à inferência

Para fazer funcionar o sistema numa única GPU, a Anthropic armazena os pesos na memória RAM do hospedeiro e depois divide as camadas da rede neuronal em segmentos que a GPU processa sucessivamente. A empresa trabalha com precisão de 4 bits, portanto em aritmética inteira, mais simples de traduzir em equações criptográficas. O FlashProve também tira partido da arquitetura MoE para provar apenas o percurso de cálculo utilizado pelos peritos realmente ativos.

Estas escolhas não são suficientes para tornar o processo rápido. A geração da prova ainda exige 72 a 94 vezes mais tempo de cálculo do que uma inferência bruta, realizada com o software vLLM. Este custo adicional exclui, de acordo com a fonte, um uso contínuo.

Restrições de contexto e de prazo

A Anthropic optou por gerar a prova a posteriori em vez de em tempo real. Esta opção degrada menos a experiência do utilizador e permite confiar o cálculo a máquinas dedicadas, mas impõe restrições. Como a inferência ocorreu previamente, o servidor tem de reinjetar as entradas e as saídas para recalcular os estados internos e deles extrair o rastro de execução criptográfica. O cliente, por sua vez, não obtém a prova imediatamente: para um lote de 24 sequências de 1024 tokens, tem de esperar 223 segundos.

A fonte assinala ainda um risco de divergência para as respostas provenientes de uma implementação em vírgula flutuante ou de uma descodificação por amostragem, e não de uma descodificação gulosa. Estas respostas poderiam, para além de uma determinada posição, deixar de corresponder exatamente ao cálculo provado. O tamanho de contexto, limitado por agora a 1024 tokens, constitui outra limitação. O FlashProve apresenta, no entanto, uma resistência pós-quântica intrínseca, ligada à ausência de curvas elípticas clássicas, e inspira-se nos rollups de camada 2 da Ethereum, mecanismos que agregam transações fora da cadeia principal.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x