Anthropic zaprezentował FlashProve, w pełni programowy system mający na celu weryfikację, czy dostawca usług chmurowych AI faktycznie uruchamia deklarowany model. Firma wpisuje się tym samym w obszar badań zwanego zKML (Zero-Knowledge Machine Learning), które opierają się na dowodach z zerową wiedzą (zero-knowledge proofs) – technice pozwalającej wykazać, że obliczenie zostało wykonane, bez ujawniania jego wewnętrznych elementów.
Mechanizm ten pozwala ustalić, że odpowiedź jest rzeczywiście wynikiem obliczeń danego modelu, bez ujawniania wag modelu, czyli jego wyuczonych parametrów. Serwer najpierw generuje « zobowiązanie » (commitment) – odcisk ustalający dokładny wybór wag. Na żądanie klienta następnie tworzy plik dowodu.
Wydajność zmierzona w konkretnej konfiguracji
Anthropic podaje wyniki uzyskane w ściśle zdefiniowanej konfiguracji: model MoE (mieszanka ekspertów, który aktywuje tylko część swoich komponentów przy każdym obliczeniu), Llama 4 Maverick, skwantyzowany do 4 bitów, czyli zredukowany do niższej precyzji. Używany serwer dysponuje procesorem graficznym H100 i 24 rdzeniami CPU, a sekwencje wyjściowe o długości 1024 tokenów są przetwarzane w partiach po 24.
Według tych pomiarów, wygenerowanie początkowego odcisku zajmuje około 39 minut, a jego rozmiar osiąga kilka MB. Może być on ponownie użyty dla około 16 milionów zapytań przed koniecznością ponownego obliczenia. Przepustowość generowania dowodów zbliża się do 110 tokenów na sekundę, a średni rozmiar dowodu to 18,78 MB. Jego walidacja na jednym rdzeniu CPU zajmuje 21 sekund.
Czas obliczeń znacznie dłuższy niż wnioskowanie
Aby system działał na pojedynczym GPU, Anthropic przechowuje wagi w pamięci RAM hosta, a następnie dzieli warstwy sieci neuronowej na segmenty przetwarzane kolejno przez GPU. Firma pracuje z precyzją 4-bitową, czyli w arytmetyce całkowitej, łatwiejszej do przełożenia na równania kryptograficzne. FlashProve wykorzystuje również architekturę MoE, aby udowadniać tylko ścieżkę obliczeniową wykorzystaną przez faktycznie aktywne eksperty.
Te wybory nie wystarczają, aby proces był szybki. Generowanie dowodu nadal wymaga 72 do 94 razy więcej czasu obliczeń niż surowe wnioskowanie przeprowadzane za pomocą oprogramowania vLLM. Według źródła, ten narzut wyklucza ciągłe użycie.
Ograniczenia kontekstu i opóźnienia
Anthropic zdecydował się generować dowód po fakcie, a nie na bieżąco. Ta opcja mniej pogarsza doświadczenie użytkownika i pozwala powierzyć obliczenia dedykowanym maszynom, ale nakłada ograniczenia. Ponieważ wnioskowanie miało miejsce wcześniej, serwer musi ponownie wstrzyknąć dane wejściowe i wyjściowe, aby przeliczyć stany wewnętrzne i wyodrębnić z nich kryptograficzny ślad wykonania. Klient nie otrzymuje dowodu natychmiast: dla partii 24 sekwencji po 1024 tokeny musi czekać 223 sekundy.
Źródło wskazuje również na ryzyko rozbieżności dla odpowiedzi pochodzących z implementacji zmiennoprzecinkowej lub dekodowania przez próbkowanie, a nie dekodowania zachłannego. Odpowiedzi te mogą, po przekroczeniu pewnej pozycji, nie odpowiadać już dokładnie udowodnionym obliczeniom. Rozmiar kontekstu, ograniczony na razie do 1024 tokenów, stanowi kolejne ograniczenie. FlashProve prezentuje jednak wewnętrzną odporność post-kwantową, związaną z brakiem klasycznych krzywych eliptycznych, i czerpie inspirację z rollupów warstwy 2 na Ethereum – mechanizmów grupujących transakcje poza głównym łańcuchem.
