Anthropic ha publicado FlashProve, un prototipo de investigación de código abierto dedicado a la inferencia demostrable. Este sistema, basado en un zkSNARK (una prueba criptográfica que permite demostrar una afirmación sin revelar sus detalles), permite probar que una respuesta proviene de un modelo congelado, sin revelar nada sobre sus pesos.
- Anthropic publica FlashProve, un prototipo de código abierto que prueba criptográficamente que una respuesta proviene de un modelo congelado.
- El sistema permite detectar sustituciones de modelo o alteraciones de tokens sin revelar los pesos.
- Con Llama 4 Maverick en una H100, el lote de 24 solicitudes alcanza 111,23 tokens por segundo, pero cuesta unas 72 veces más tiempo de GPU que vLLM.
- Se limita a 1.024 tokens por solicitud, decodificado codicioso y modelos MoE, y su verificador rápido en C++ carece de garantías formales.
El problema abordado concierne primero a los desarrolladores. Hoy, un usuario que consulta un modelo no puede verificar qué modelo produjo realmente la respuesta. Un servicio de enrutamiento podría reemplazar el modelo solicitado por uno menos costoso, y un atacante podría modificar el flujo de tokens (las unidades de texto procesadas por el modelo). Juzgar la calidad de una respuesta no basta, según la fuente, para detectar estas sustituciones.
Funcionamiento y rendimiento
FlashProve enfrenta a dos actores: el probador, es decir, el proveedor del modelo, y el verificador, es decir, el usuario. El sistema funciona en dos fases. Fuera de línea, el proveedor publica un compromiso, una huella corta que vincula un conjunto exacto de pesos. Esta etapa toma unos 39 minutos y cubre aproximadamente 16 millones de solicitudes. En línea, la GPU produce para cada solicitud una prueba de que el modelo comprometido generó esos tokens.
Anthropic afirma que este dispositivo ofrece seguridad post-cuántica, e indica que pertenece a la misma familia que las pruebas de validez utilizadas por redes de nivel 2 como Starknet. Según la guía de rendimiento del repositorio, Anthropic midió el sistema con los pesos públicos de Llama 4 Maverick, un modelo de 400B parámetros en mezcla de expertos (MoE, arquitectura que activa solo una parte de los parámetros en cada token), con 4 bits de precisión, en una sola H100, una GPU de Nvidia.
Para un lote de 24 solicitudes, el rendimiento anunciado es de 111,23 tokens por segundo. Una sola solicitud solo alcanza 17,41 tokens por segundo. El tamaño de la prueba es de 18,78 MB, y su verificación toma 17 segundos en 24 hilos. Comparado con vLLM, un sistema de inferencia que ejecuta Maverick en FP8 en 8 H100, la prueba cuesta aproximadamente 72 veces más tiempo de GPU por lote, y aproximadamente 94 veces al rendimiento máximo probado por vLLM.
Seguridad y limitaciones
Dado que el código criptográfico es frágil, Anthropic dice haber formalizado el protocolo en el lenguaje Lean, para probar su integridad, validez y revelación cero de conocimiento. El README indica que un proveedor tramposo sería detectado, excepto con una probabilidad de aproximadamente q/2^124 + 2^-101. FlashProve incluye dos verificadores: un verificador rápido en C++, destinado al uso diario, pero que no cuenta con ninguna garantía formal, y un verificador más lento en Lean, cuya aceptación se limita, según Anthropic, a lo que el teorema de validez admite.
El sistema también tiene restricciones. Está limitado a 1.024 tokens por solicitud, al decodificado codicioso y a los modelos MoE por ahora. Anthropic indica además que su equipo usó Claude para optimizar el sistema. El código se publica bajo la licencia Apache 2.0 en el repositorio GitHub de FlashProve.
