Cinque agenti Qwen3.8-27B hanno battuto Fable 5 su LiveCodeBench Hard, nell’ambito di un workflow Memdoor, secondo il rapporto dedicato a questo esperimento. I risultati riguardano tuttavia un numero limitato di problemi, e il rapporto stesso dettaglia diverse riserve.
- Cinque agenti Qwen3.8-27B con Memdoor ottengono 9,8 su 10 contro 8,0 di Fable 5 su dieci problemi.
- Il campione è limitato e gli scarti rientrano nel margine d’errore.
- Una possibile contaminazione non è esclusa, perché i concorsi risalgono alla primavera 2025.
- Fable 5 non è stato eseguito in questo harness, e il ciclo presenta due lacune segnalate.
Memdoor è sia un agente di codifica che un esecutore di workflow. Un agente è un programma capace di concatenare da solo diverse azioni. Memdoor può quindi leggere file, modificare codice ed effettuare verifiche. Per i compiti ripetitivi, un workflow coordina le fasi di verifica, i compiti paralleli e le fasi di validazione.
Punteggi misurati su dieci problemi
Secondo il rapporto, l’harness degli autori, un dispositivo di valutazione ricostruito riprendendo esattamente le loro istruzioni e il loro ciclo, è stato testato sullo stesso modello, Qwen3.8-27B, con un limite di risposta di 128K. Sui primi dieci problemi della lista «Hard» di LiveCodeBench, un benchmark di valutazione della programmazione, con cinque passaggi ciascuno, il workflow ottiene una media di 9,8 su 10. L’harness degli autori ottiene 9,6, e Fable 5, in una sola chiamata, 8,0.
Sull’insieme dei 100 problemi, il rapporto cita punteggi di 92,4 e 90,4, provenienti dal file patched_verdicts.json degli autori. Le 50 esecuzioni del workflow sono pubblicate, con ogni richiesta, ogni risposta, il programma prodotto e l’output del correttore. Il workflow è scritto in formato YAML e non specifica alcun modello. L’hosting avviene via OpenRouter, e non su una macchina locale. Secondo il rapporto, un’esecuzione richiede una durata mediana di 40 minuti e costa 0,39 $, ovvero 35,79 $ per le 50.
I limiti segnalati
Il rapporto sottolinea innanzitutto la dimensione del campione: dieci problemi e cinque passaggi, contro i 100 degli autori. Gli scarti di 9,8 e 9,6 si situano, secondo lui, nel margine d’errore, e l’affermazione riguarda la parità con l’harness degli autori. Evoca anche una possibile contaminazione, dato che i concorsi risalgono alla primavera 2025: il modello potrebbe già essere stato confrontato con questi problemi, cosa che non è esclusa per nessuna delle colonne.
Fable 5 è stato valutato solo a ragione di una chiamata per problema, a partire dai file degli autori, e non è stato eseguito in questo harness. Il ciclo esamina gli esempi pubblici, mentre il punteggio corrisponde ai test nascosti. Il rapporto rileva infine due lacune. In un caso, un responsabile ha inventato un controesempio errato, e il team ha riscritto un programma corretto. In altre due occasioni, un programma corretto è andato in crash ed è stato recuperato. Questi due casi costituiscono, secondo il rapporto, delle lacune del ciclo degli autori, conservate tali e quali.
