Anthropic опубликовала FlashProve, прототип системы с открытым исходным кодом для доказуемого вывода. Эта система, основанная на zkSNARK (криптографическом доказательстве, позволяющем продемонстрировать утверждение, не раскрывая деталей), позволяет доказать, что ответ получен от зафиксированной модели, не раскрывая ничего о её весах.
Проблема, на которую нацелена система, касается в первую очередь разработчиков. Сегодня пользователь, отправляющий запрос модели, не может проверить, какая модель фактически сгенерировала ответ. Сервис маршрутизации может заменить запрошенную модель более дешёвой, а злоумышленник может изменить поток токенов (единиц текста, обрабатываемых моделью). Судя по качеству ответа, по мнению источника, недостаточно для обнаружения таких подмен.
Принцип работы и производительность
В FlashProve участвуют две стороны: доказывающий, то есть поставщик модели, и проверяющий, то есть пользователь. Система работает в два этапа. Вне сети поставщик публикует коммитмент — короткий отпечаток, который связывает точный набор весов. Этот этап занимает около 39 минут и покрывает примерно 16 миллионов запросов. В режиме онлайн GPU генерирует для каждого запроса доказательство того, что зафиксированная модель действительно произвела эти токены.
Anthropic утверждает, что этот механизм обеспечивает постквантовую безопасность и указывает, что он принадлежит к тому же семейству, что и доказательства валидности, используемые сетями второго уровня, такими как Starknet. Согласно руководству по производительности в репозитории, Anthropic тестировала систему на публичных весах модели Llama 4 Maverick (400 млрд параметров, смесь экспертов (MoE, архитектура, активирующая только часть параметров на каждый токен)), с 4-битной точностью, на одном GPU H100 от Nvidia.
Для батча из 24 запросов заявленная пропускная способность составляет 111,23 токена в секунду. Для одного запроса она достигает лишь 17,41 токена в секунду. Размер доказательства — 18,78 МБ, а его проверка занимает 17 секунд на 24 потоках. По сравнению с vLLM, системой вывода, выполняющей Maverick в формате FP8 на 8 H100, генерация доказательства обходится примерно в 72 раза дороже по времени GPU на батч и примерно в 94 раза при максимальной пропускной способности, протестированной vLLM.
Безопасность и ограничения
Поскольку криптографический код хрупок, Anthropic сообщает, что формализовала протокол на языке Lean, чтобы доказать его полноту, валидность и свойство нулевого разглашения знаний. В README указано, что нечестный поставщик будет обнаружен, за исключением вероятности около q/2^124 + 2^-101. FlashProve включает два проверяющих модуля: быстрый на C++, предназначенный для повседневного использования, но не имеющий формальных гарантий, и более медленный на Lean, принятие которого, по словам Anthropic, ограничено тем, что допускает теорема о валидности.
Система также имеет ограничения. На данный момент она ограничена 1024 токенами на запрос, жадным декодированием и моделями MoE. Anthropic также указывает, что её команда использовала Claude для оптимизации системы. Код опубликован под лицензией Apache 2.0 на репозитории GitHub FlashProve.
