Anthropicは、クラウドAIサービスプロバイダーが公表されたモデルを実際に実行していることを検証することを目的とした、完全なソフトウェアシステム「FlashProve」を発表した。同社は、計算が実行されたことを内部要素を明かさずに証明する技術であるゼロ知識証明に基づく、いわゆるzKML（Zero-Knowledge Machine Learning）研究の分野に参入した。
このメカニズムにより、モデルの重み、つまり学習済みパラメータを開示することなく、特定の応答が所定のモデルの計算結果であることを確立できる。サーバーはまず、重みの正確な選択を固定する指紋である「コミットメント」を生成する。クライアントの要求に応じて、その後証明ファイルを作成する。
特定の構成で測定されたパフォーマンス
Anthropicは、明確に定義された構成で得られた結果を公表している：4ビットに量子化（つまり精度を低下させた）されたMoE（混合専門家）モデルであるLlama 4 Maverick。使用されたサーバーはGPU H100と24CPUコアを備え、1024トークンの出力シーケンスは24のバッチで処理される。
これらの測定によると、初期指紋の生成には約39分かかり、そのサイズは数MBに達する。再計算される前に約1600万件のクエリで再利用可能である。証明生成のスループットは秒あたり約110トークンで、証明の平均サイズは18.78MBである。1つのCPUコアでの検証には21秒かかる。
推論を大幅に上回る計算時間
単一GPUでシステムを動作させるため、Anthropicは重みをホストのRAMに保存し、ニューラルネットワークの層をGPUが順次処理するセグメントに分割する。同社は4ビット精度、つまり整数演算で作業しており、これは暗号方程式に変換するのがより簡単である。FlashProveはまた、実際に活性化された専門家がたどった計算経路のみを証明するために、MoEアーキテクチャを活用している。
これらの選択だけでは、プロセスを高速化するには不十分である。証明の生成には、vLLMソフトウェアを使用した生の推論と比較して、依然として72倍から94倍の計算時間が必要である。このオーバーヘッドにより、継続的な使用は除外されると、情報源は述べている。
コンテキストと遅延の制約
Anthropicは、リアルタイムではなく後から証明を生成することを選択した。このオプションはユーザーエクスペリエンスへの影響が小さく、専用マシンに計算を委ねることができるが、制約を課す。推論が事前に行われているため、サーバーは入出力を再注入して内部状態を再計算し、暗号実行トレースを抽出する必要がある。クライアントは証明をすぐには得られない：1024トークンの24シーケンスのバッチの場合、223秒待たなければならない。
また、情報源は、浮動小数点実装またはサンプリングデコード（貪欲デコードではない）から生じる応答について、発散のリスクを指摘している。これらの応答は、ある位置を超えると、証明された計算と完全には一致しなくなる可能性がある。現時点では1024トークンに制限されているコンテキストサイズも、別の制限である。それでもFlashProveは、従来の楕円曲線を使用しないことに関連する、本質的な耐量子性を備えており、メインチェーン外でトランザクションを集約するメカニズムであるEthereumのレイヤー2ロールアップに着想を得ている。
