Anthropic hat FlashProve veröffentlicht, einen Open-Source-Forschungsprototyp für beweisbare Inferenz. Dieses System, basierend auf einem zkSNARK (einem kryptografischen Beweis, der eine Aussage demonstriert, ohne Details preiszugeben), ermöglicht es nachzuweisen, dass eine Antwort von einem festen Modell stammt, ohne etwas über dessen Gewichte zu verraten.
- Anthropic veröffentlicht FlashProve, einen Open-Source-Prototyp, der nachweist, dass eine Antwort von einem festgelegten Modell stammt.
- Der Beweis basiert auf einem zkSNARK und verrät nichts über die Modellgewichte.
- Der Beweis kostet etwa 72-mal mehr GPU-Zeit pro Batch als vLLM, sodass das System deutlich langsamer arbeitet.
- Das System ist auf 1.024 Tokens pro Anfrage, gierige Dekodierung und MoE-Modelle beschränkt, und der schnelle Verifizierer bietet keine formalen Garantien.
Das angesprochene Problem betrifft zunächst Entwickler. Heute kann ein Nutzer, der ein Modell abfragt, nicht überprüfen, welches Modell die Antwort tatsächlich erzeugt hat. Ein Routing-Dienst könnte das angeforderte Modell durch ein kostengünstigeres ersetzen, und ein Angreifer könnte den Token-Fluss (die vom Modell verarbeiteten Texteinheiten) manipulieren. Die Qualität einer Antwort zu beurteilen reicht laut Quelle nicht aus, um solche Substitutionen zu erkennen.
Funktionsweise und Leistung
FlashProve stellt zwei Akteure gegenüber: den Beweiser, also den Anbieter des Modells, und den Verifizierer, also den Nutzer. Das System arbeitet in zwei Phasen. Offline veröffentlicht der Anbieter ein Commitment, einen kurzen Fingerabdruck, der einen exakten Satz von Gewichten bindet. Dieser Schritt dauert etwa 39 Minuten und deckt etwa 16 Millionen Anfragen ab. Online erzeugt die GPU für jede Anfrage einen Beweis, dass das festgelegte Modell diese Tokens tatsächlich generiert hat.
Anthropic behauptet, dass dieser Ansatz post-quanten-sicher ist, und gibt an, dass er zur gleichen Familie gehört wie die Validitätsbeweise, die von Layer-2-Netzwerken wie Starknet verwendet werden. Laut dem Performance-Leitfaden im Repository hat Anthropic das System an den öffentlichen Gewichten von Llama 4 Maverick gemessen, einem 400B-Parameter-Modell mit Mixture of Experts (MoE, eine Architektur, die nur einen Teil der Parameter pro Token aktiviert), mit 4-Bit-Präzision, auf einer einzelnen H100, einer GPU von Nvidia.
Für einen Batch von 24 Anfragen beträgt die angegebene Durchsatzrate 111,23 Tokens pro Sekunde. Eine einzelne Anfrage erreicht nur 17,41 Tokens pro Sekunde. Die Beweisgröße beträgt 18,78 MB, und die Verifizierung dauert 17 Sekunden auf 24 Threads. Im Vergleich zu vLLM, einem Inferenzsystem, das Maverick in FP8 auf 8 H100s ausführt, kostet der Beweis etwa 72-mal mehr GPU-Zeit pro Batch und etwa 94-mal mehr beim maximal von vLLM getesteten Durchsatz.
Sicherheit und Grenzen
Da kryptografischer Code fragil ist, gibt Anthropic an, das Protokoll in der Sprache Lean formalisiert zu haben, um dessen Vollständigkeit, Gültigkeit und Zero-Knowledge-Eigenschaft zu beweisen. Das README gibt an, dass ein betrügerischer Anbieter erkannt würde, außer mit einer Wahrscheinlichkeit von etwa q/2^124 + 2^-101. FlashProve umfasst zwei Verifizierer: einen schnellen Verifizierer in C++ für den täglichen Gebrauch, der jedoch keine formalen Garantien bietet, und einen langsameren Verifizierer in Lean, dessen Akzeptanz laut Anthropic auf das beschränkt ist, was der Gültigkeitssatz zulässt.
Das System hat auch Einschränkungen. Es ist derzeit auf 1.024 Tokens pro Anfrage, gierige Dekodierung und MoE-Modelle beschränkt. Anthropic gibt außerdem an, dass sein Team Claude zur Optimierung des Systems eingesetzt hat. Der Code ist unter der Apache-2.0-Lizenz auf dem FlashProve-GitHub-Repository veröffentlicht.
