Fünf Qwen3.8-27B-Agenten haben Fable 5 auf LiveCodeBench Hard geschlagen, im Rahmen eines Memdoor-Workflows, wie der Bericht zu diesem Experiment darlegt. Die Ergebnisse beziehen sich jedoch auf eine begrenzte Anzahl von Problemen, und der Bericht selbst nennt mehrere Vorbehalte.
- Fünf Qwen3.8-27B-Agenten schlagen Fable 5 auf den ersten zehn Problemen von LiveCodeBench Hard.
- Der Workflow erreicht 9,8 von 10 Punkten, das Harness der Autoren 9,6 und Fable 5 nur 8,0.
- Der Bericht warnt vor kleiner Stichprobe und möglicher Kontamination durch Wettbewerbe aus dem Frühjahr 2025.
- Fable 5 lief nur mit einem Aufruf pro Problem, und die Schleife der Autoren zeigt zwei Mängel.
Memdoor ist sowohl ein Coding-Agent als auch ein Workflow-Executor. Ein Agent ist ein Programm, das selbstständig mehrere Aktionen aneinanderreihen kann. Memdoor kann somit Dateien lesen, Code ändern und Überprüfungen durchführen. Für wiederkehrende Aufgaben koordiniert ein Workflow die Überprüfungsschritte, parallele Aufgaben und Validierungsphasen.
Gemessene Scores für zehn Probleme
Laut dem Bericht wurde das Harness der Autoren, eine Bewertungsvorrichtung, die exakt nach ihren Anweisungen und ihrer Schleife nachgebaut wurde, auf demselben Modell Qwen3.8-27B mit einem Antwortlimit von 128K getestet. Bei den ersten zehn Problemen der « Hard »-Liste von LiveCodeBench, einem Benchmark zur Bewertung von Programmierfähigkeiten, mit jeweils fünf Durchläufen erzielt der Workflow einen Durchschnitt von 9,8 von 10. Das Harness der Autoren erzielt 9,6, und Fable 5, mit nur einem Aufruf, 8,0.
Für die gesamten 100 Probleme nennt der Bericht Scores von 92,4 und 90,4, die aus der Datei patched_verdicts.json der Autoren stammen. Die 50 Ausführungen des Workflows werden veröffentlicht, mit jeder Anfrage, jeder Antwort, dem erzeugten Programm und der Ausgabe des Prüfers. Der Workflow ist im YAML-Format geschrieben und gibt kein Modell vor. Das Hosting erfolgt über OpenRouter und nicht auf einer lokalen Maschine. Laut Bericht dauert eine Ausführung median 40 Minuten und kostet 0,39 $, also 35,79 $ für alle 50.
Die genannten Einschränkungen
Der Bericht hebt zunächst die Stichprobengröße hervor: zehn Probleme und fünf Durchläufe gegenüber den 100 der Autoren. Die Abweichungen von 9,8 und 9,6 liegen seiner Ansicht nach innerhalb der Fehlermarge, und die Aussage bezieht sich auf die Gleichwertigkeit mit dem Harness der Autoren. Er erwähnt auch eine mögliche Kontamination, da die Wettbewerbe aus dem Frühjahr 2025 stammen: Das Modell könnte diesen Problemen bereits begegnet sein, was für keine der Spalten ausgeschlossen wird.
Fable 5 wurde nur mit einem Aufruf pro Problem bewertet, basierend auf den Dateien der Autoren, und nicht in diesem Harness ausgeführt. Die Schleife prüft die öffentlichen Beispiele, während die Punktzahl den verborgenen Tests entspricht. Der Bericht stellt schließlich zwei Mängel fest. In einem Fall erfand ein Agent ein falsches Gegenbeispiel, und das Team schrieb ein korrektes Programm neu. In zwei weiteren Fällen stürzte ein korrektes Programm ab und wurde wiederhergestellt. Diese beiden Fälle stellen laut Bericht Mängel in der Schleife der Autoren dar, die unverändert übernommen wurden.
