Vijf Qwen3.8-27B-agents hebben Fable 5 verslagen op LiveCodeBench Hard, binnen een Memdoor workflow, volgens het rapport over dit experiment. De resultaten zijn echter gebaseerd op een beperkt aantal problemen, en het rapport zelf somt verschillende kanttekeningen op.
- Vijf Qwen3.8-27B-agents verslaan Fable 5 op de eerste tien Hard-problemen van LiveCodeBench.
- De steekproef is klein, en mogelijke contaminatie is niet uitgesloten.
- Fable 5 is maar eenmaal per probleem getest, buiten het harnas van de auteurs.
- Het rapport meldt een verzonnen tegenvoorbeeld en een gecrasht programma die tekortkomingen vormen.
Memdoor is zowel een codeeragent als een workflow-uitvoerder. Een agent is een programma dat zelfstandig meerdere acties kan uitvoeren. Memdoor kan dus bestanden lezen, code aanpassen en controles uitvoeren. Voor repetitieve taken coördineert een workflow de verificatiestappen, parallelle taken en validatiestappen.
Scores gemeten op tien problemen
Volgens het rapport is het ‘harnas’ van de auteurs, een evaluatiesysteem dat exact hun instructies en hun loop heeft gereconstrueerd, getest op hetzelfde model, Qwen3.8-27B, met een antwoordlimiet van 128K. Op de eerste tien problemen van de ‘Hard’-lijst van LiveCodeBench, een benchmark voor programmeerevaluatie, met elk vijf pogingen, behaalt de workflow een gemiddelde van 9,8 op 10. Het harnas van de auteurs behaalt 9,6, en Fable 5, in één enkele aanroep, 8,0.
Over de volledige set van 100 problemen citeert het rapport scores van 92,4 en 90,4, afkomstig uit het bestand patched_verdicts.json van de auteurs. De 50 uitvoeringen van de workflow zijn gepubliceerd, met elke aanvraag, elk antwoord, het geproduceerde programma en de uitvoer van de checker. De workflow is geschreven in YAML-formaat en specificeert geen model. De hosting gebeurt via OpenRouter, en niet op een lokale machine. Volgens het rapport duurt een uitvoering gemiddeld 40 minuten en kost $0,39, ofwel $35,79 voor de 50.
De gesignaleerde beperkingen
Het rapport benadrukt eerst de beperkte steekproefgrootte: tien problemen en vijf pogingen, tegenover de 100 van de auteurs. De verschillen van 9,8 en 9,6 vallen volgens het rapport binnen de foutmarge, en de bewering gaat over gelijkwaardigheid met het harnas van de auteurs. Het noemt ook mogelijke contaminatie, aangezien de wedstrijden dateren van het voorjaar van 2025: het model is mogelijk al met deze problemen geconfronteerd, wat voor geen van de kolommen is uitgesloten.
Fable 5 is slechts geëvalueerd met één aanroep per probleem, op basis van de bestanden van de auteurs, en is niet uitgevoerd in dit harnas. De loop onderzoekt de publieke voorbeelden, terwijl de score overeenkomt met de verborgen tests. Het rapport wijst tot slot op twee tekortkomingen. In één geval heeft een agent een foutief tegenvoorbeeld verzonnen, en het team heeft een correct programma herschreven. Twee andere keren is een correct programma gecrasht en vervolgens hersteld. Deze twee gevallen vormen volgens het rapport tekortkomingen in de loop van de auteurs, die ongewijzigd zijn gebleven.
