Пять агентов Qwen3.8-27B превзошли Fable 5 на LiveCodeBench Hard в рамках рабочего процесса Memdoor, согласно отчету об этом эксперименте. Однако результаты касаются ограниченного числа задач, и сам отчет подробно описывает несколько оговорок.
Memdoor — это одновременно агент кодирования и исполнитель рабочих процессов. Агент — это программа, способная самостоятельно выполнять последовательность действий. Memdoor может читать файлы, изменять код и проводить проверки. Для повторяющихся задач рабочий процесс координирует этапы проверки, параллельные задачи и этапы валидации.
Оценки измерены на десяти задачах
Согласно отчету, харнес авторов — система оценки, воссозданная путем точного следования их инструкциям и циклу, — был протестирован на той же модели Qwen3.8-27B с лимитом ответа в 128K. На первых десяти задачах из списка «Hard» LiveCodeBench, бенчмарка для оценки программирования, с пятью прогонами каждая, рабочий процесс показал средний результат 9,8 из 10. Харнес авторов получил 9,6, а Fable 5 при однократном вызове — 8,0.
На всем наборе из 100 задач в отчете приводятся оценки 92,4 и 90,4, взятые из файла patched_verdicts.json авторов. 50 прогонов рабочего процесса опубликованы, включая каждый запрос, каждый ответ, созданную программу и вывод проверяющей системы. Рабочий процесс написан в формате YAML и не указывает конкретную модель. Хостинг осуществляется через OpenRouter, а не на локальной машине. По данным отчета, один прогон занимает в среднем 40 минут и стоит 0,39 $, что составляет 35,79 $ за все 50.
Указанные ограничения
В отчете сначала отмечается размер выборки: десять задач и пять прогонов против 100 у авторов. Различия в 9,8 и 9,6, по его мнению, находятся в пределах погрешности, и утверждение касается паритета с харнесом авторов. Также упоминается возможная контаминация, поскольку соревнования датируются весной 2025 года: модель, возможно, уже сталкивалась с этими задачами, что не исключено ни для одного из столбцов.
Fable 5 оценивался только по одному вызову на задачу на основе файлов авторов и не запускался в этом харнесе. Цикл проверяет публичные примеры, тогда как оценка соответствует скрытым тестам. В отчете также отмечаются два недостатка. В одном случае ответственный агент придумал ошибочный контрпример, и команда переписала корректную программу. В двух других случаях корректная программа завершилась сбоем, но была восстановлена. Эти два случая, согласно отчету, представляют собой недостатки цикла авторов, сохраненные как есть.
