Anthropic intenta certificar matemáticamente la inferencia de sus modelos

Anthropic intenta certificar matemáticamente la inferencia de sus modelos
3 min de lectura

Anthropic ha presentado FlashProve, un sistema completamente software que busca verificar que un proveedor de servicios de IA en la nube ejecuta efectivamente el modelo anunciado. La empresa se inscribe así en el campo de las investigaciones llamadas zKML (Zero-Knowledge Machine Learning), que se basan en las pruebas de conocimiento cero, una técnica que permite demostrar que un cálculo se ha realizado sin revelar sus elementos internos.

  • Anthropic presenta FlashProve, un sistema solo software que verifica que el proveedor en la nube ejecuta el modelo anunciado.
  • La prueba confirma el resultado de un cálculo sin revelar los pesos del modelo, gracias a las pruebas de conocimiento cero.
  • Generar la prueba exige entre 72 y 94 veces más cálculo que la inferencia, por lo que no sirve para un uso continuo.
  • El sistema solo cubre contextos de 1024 tokens y puede divergir con muestreo o coma flotante.

El mecanismo permite establecer que una respuesta es efectivamente el resultado del cálculo de un modelo dado, sin que los pesos del modelo, es decir, sus parámetros aprendidos, sean revelados. El servidor genera primero un « compromiso », una huella que fija la elección exacta de los pesos. A petición de un cliente, produce luego un archivo de prueba.

Rendimientos medidos en una configuración precisa

Anthropic comunica resultados obtenidos con una configuración bien definida: un modelo MoE (de mezcla de expertos, que activa solo una parte de sus componentes en cada cálculo), Llama 4 Maverick, cuantificado en 4 bits, es decir, reducido a una precisión más baja. El servidor utilizado dispone de una GPU H100 y de 24 núcleos de CPU, y las secuencias de salida de 1024 tokens se procesan por lotes de 24.

Según estas mediciones, la generación de la huella inicial toma unos 39 minutos, y su peso alcanza unos pocos MB. Puede reutilizarse para aproximadamente 16 millones de solicitudes antes de ser recalculada. El rendimiento de generación de las pruebas ronda los 110 tokens por segundo, y una prueba pesa en promedio 18,78 MB. Su validación en un núcleo de CPU toma 21 segundos.

Un tiempo de cálculo muy superior a la inferencia

Para hacer funcionar el sistema en una sola GPU, Anthropic almacena los pesos en la memoria RAM del host, luego divide las capas de la red neuronal en segmentos que la GPU procesa sucesivamente. La empresa trabaja en precisión de 4 bits, por tanto en aritmética entera, más sencilla de traducir en ecuaciones criptográficas. FlashProve también aprovecha la arquitectura MoE para probar solo la ruta de cálculo tomada por los expertos realmente activos.

Estas elecciones no bastan para hacer el procedimiento rápido. La generación de la prueba requiere aún 72 a 94 veces más tiempo de cálculo que una inferencia bruta, realizada con el software vLLM. Este sobrecoste excluye, según la fuente, un uso continuo.

Restricciones de contexto y plazo

Anthropic ha optado por generar la prueba después del hecho en lugar de sobre la marcha. Esta opción degrada menos la experiencia del usuario y permite confiar el cálculo a máquinas dedicadas, pero impone restricciones. Como la inferencia ha tenido lugar previamente, el servidor debe reinyectar las entradas y las salidas para recalcular los estados internos y extraer de ellos la traza de ejecución criptográfica. El cliente, por su parte, no obtiene la prueba inmediatamente: para un lote de 24 secuencias de 1024 tokens, debe esperar 223 segundos.

La fuente señala además un riesgo de divergencia para las respuestas procedentes de una implementación en coma flotante o de un decodificado por muestreo, y no de un decodificado voraz. Estas respuestas podrían, más allá de cierta posición, no corresponder exactamente al cálculo probado. El tamaño de contexto, limitado por ahora a 1024 tokens, constituye otra limitación. FlashProve presenta no obstante una resistencia post-cuántica intrínseca, ligada a la ausencia de curvas elípticas clásicas, y se inspira en los rollups de capa 2 sobre Ethereum, mecanismos que agrupan transacciones fuera de la cadena principal.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x