Cinq agents Qwen3.8-27B ont battu Fable 5 sur LiveCodeBench Hard, dans le cadre d’un workflow Memdoor, selon le rapport consacré à cette expérience. Les résultats portent toutefois sur un nombre limité de problèmes, et le rapport détaille lui-même plusieurs réserves.
- Cinq agents Qwen3.8-27B battent Fable 5 sur LiveCodeBench Hard, dans un workflow Memdoor.
- Le workflow obtient 9,8 sur 10, contre 9,6 pour le harnais des auteurs et 8,0 pour Fable 5.
- Le rapport juge ces écarts fragiles, car l’échantillon ne compte que dix problèmes.
- Il signale une contamination possible et relève des lacunes dans la boucle des auteurs.
Memdoor est à la fois un agent de codage et un exécuteur de workflows. Un agent est un programme capable d’enchaîner seul plusieurs actions. Memdoor peut ainsi lire des fichiers, modifier du code et effectuer des vérifications. Pour les tâches répétitives, un workflow coordonne les étapes de vérification, les tâches parallèles et les étapes de validation.
Des scores mesurés sur dix problèmes
Selon le rapport, le harnais des auteurs, un dispositif d’évaluation reconstruit en reprenant exactement leurs consignes et leur boucle, a été testé sur le même modèle, Qwen3.8-27B, avec une limite de réponse de 128K. Sur les dix premiers problèmes de la liste « Hard » de LiveCodeBench, un benchmark d’évaluation de programmation, avec cinq passages chacun, le workflow obtient une moyenne de 9,8 sur 10. Le harnais des auteurs obtient 9,6, et Fable 5, en un seul appel, 8,0.
Sur l’ensemble des 100 problèmes, le rapport cite des scores de 92,4 et 90,4, issus du fichier patched_verdicts.json des auteurs. Les 50 exécutions du workflow sont publiées, avec chaque requête, chaque réponse, le programme produit et la sortie du correcteur. Le workflow est écrit au format YAML et ne précise aucun modèle. L’hébergement se fait via OpenRouter, et non sur une machine locale. Selon le rapport, une exécution prend une durée médiane de 40 minutes et coûte 0,39 $, soit 35,79 $ pour les 50.
Les limites signalées
Le rapport souligne d’abord la taille de l’échantillon : dix problèmes et cinq passages, contre les 100 des auteurs. Les écarts de 9,8 et 9,6 se situent, selon lui, dans la marge d’erreur, et l’affirmation porte sur la parité avec le harnais des auteurs. Il évoque aussi une possible contamination, les concours datant du printemps 2025 : le modèle a peut-être déjà été confronté à ces problèmes, ce qui n’est exclu pour aucune des colonnes.
Fable 5 n’a été évalué qu’à raison d’un appel par problème, à partir des fichiers des auteurs, et n’a pas été exécuté dans ce harnais. La boucle examine les exemples publics, alors que le score correspond aux tests cachés. Le rapport relève enfin deux lacunes. Dans un cas, un responsable a inventé un contre-exemple erroné, et l’équipe a réécrit un programme correct. À deux autres reprises, un programme correct a planté puis a été récupéré. Ces deux cas constituent, selon le rapport, des lacunes de la boucle des auteurs, conservées telles quelles.
