Anthropic opublikowało FlashProve, otwartoźródłowy prototyp badawczy poświęcony wnioskowaniu z dowodami. System ten, oparty na zkSNARK (dowód kryptograficzny pozwalający wykazać prawdziwość twierdzenia bez ujawniania szczegółów), umożliwia udowodnienie, że odpowiedź pochodzi z zamrożonego modelu, nie ujawniając nic o jego wagach.
- Anthropic udostępnia FlashProve, otwartoźródłowy prototyp, który kryptograficznie dowodzi, że odpowiedź pochodzi z deklarowanego modelu.
- System chroni użytkowników przed podmianą modelu przez usługi routingu i modyfikację strumienia tokenów.
- Generowanie dowodu jest bardzo kosztowne, ponieważ wymaga około 72 razy więcej czasu GPU niż vLLM, a system obsługuje na razie tylko 1024 tokeny na zapytanie.
- Kod jest dostępny na licencji Apache 2.0 w repozytorium GitHub.
Problem dotyczy przede wszystkim deweloperów. Obecnie użytkownik odpytywujący model nie może zweryfikować, który model faktycznie wygenerował odpowiedź. Usługa routingu mogłaby zastąpić żądany model tańszym, a atakujący mógłby zmodyfikować strumień tokenów (jednostek tekstu przetwarzanych przez model). Zdaniem źródła, ocena jakości odpowiedzi nie wystarcza do wykrycia takich podmian.
Działanie i wydajność
W FlashProve występują dwie strony: dowodzący, czyli dostawca modelu, oraz weryfikator, czyli użytkownik. System działa w dwóch fazach. Offline, dostawca publikuje zobowiązanie – krótki odcisk wiążący dokładny zestaw wag. Ten etap trwa około 39 minut i obejmuje około 16 milionów zapytań. Online, GPU generuje dla każdego zapytania dowód, że zaangażowany model faktycznie wyprodukował te tokeny.
Anthropic twierdzi, że mechanizm ten zapewnia bezpieczeństwo postkwantowe i wskazuje, że należy do tej samej rodziny co dowody ważności używane przez sieci warstwy 2, takie jak Starknet. Zgodnie z przewodnikiem wydajności w repozytorium, Anthropic przetestowało system na publicznych wagach modelu Llama 4 Maverick, modelu o 400B parametrów w architekturze mieszanki ekspertów (MoE, która aktywuje tylko część parametrów na każdy token), z precyzją 4-bitową, na pojedynczym GPU H100 firmy Nvidia.
Dla partii 24 zapytań deklarowana przepustowość wynosi 111,23 tokenów na sekundę. Pojedyncze zapytanie osiąga tylko 17,41 tokenów na sekundę. Rozmiar dowodu to 18,78 MB, a jego weryfikacja zajmuje 17 sekund na 24 wątkach. W porównaniu z vLLM, systemem wnioskowania uruchamiającym Maverick w precyzji FP8 na 8 H100, generowanie dowodu kosztuje około 72 razy więcej czasu GPU na partię i około 94 razy więcej przy maksymalnej przepustowości testowanej przez vLLM.
Bezpieczeństwo i ograniczenia
Ponieważ kod kryptograficzny jest delikatny, Anthropic deklaruje sformalizowanie protokołu w języku Lean, aby udowodnić jego kompletność, ważność i zerową wiedzę. README wskazuje, że oszukujący dostawca zostałby wykryty, z wyjątkiem prawdopodobieństwa około q/2^124 + 2^-101. FlashProve zawiera dwa weryfikatory: szybki weryfikator w C++ przeznaczony do codziennego użytku, ale bez formalnych gwarancji, oraz wolniejszy weryfikator w Lean, którego akceptacja jest, według Anthropic, ograniczona do tego, co dopuszcza twierdzenie o ważności.
System ma też pewne ograniczenia. Na razie jest ograniczony do 1024 tokenów na zapytanie, dekodowania zachłannego i modeli MoE. Anthropic wskazuje również, że jego zespół użył Claude’a do optymalizacji systemu. Kod został opublikowany na licencji Apache 2.0 w repozytorium GitHub FlashProve.
