Cinco agentes Qwen3.8-27B han superado a Fable 5 en LiveCodeBench Hard, en el marco de un flujo de trabajo Memdoor, según el informe dedicado a este experimento. Los resultados, sin embargo, se basan en un número limitado de problemas, y el propio informe detalla varias reservas.
- Cinco agentes Qwen3.8-27B con Memdoor superan a Fable 5 en LiveCodeBench Hard, según el informe.
- Los resultados se basan en solo diez problemas con cinco pasadas cada uno.
- El informe considera que las diferencias con el arnés de los autores entran en el margen de error.
- Fable 5 se evaluó con una sola llamada por problema y fuera de este arnés, y existe una posible contaminación de datos.
Memdoor es tanto un agente de codificación como un ejecutor de flujos de trabajo. Un agente es un programa capaz de encadenar por sí mismo varias acciones. Memdoor puede así leer archivos, modificar código y realizar verificaciones. Para las tareas repetitivas, un flujo de trabajo coordina las etapas de verificación, las tareas paralelas y las etapas de validación.
Puntuaciones medidas sobre diez problemas
Según el informe, el arnés de los autores, un dispositivo de evaluación reconstruido siguiendo exactamente sus instrucciones y su bucle, fue probado en el mismo modelo, Qwen3.8-27B, con un límite de respuesta de 128K. Sobre los diez primeros problemas de la lista «Hard» de LiveCodeBench, un benchmark de evaluación de programación, con cinco pasadas cada uno, el flujo de trabajo obtiene una media de 9,8 sobre 10. El arnés de los autores obtiene 9,6, y Fable 5, en una sola llamada, 8,0.
Sobre el conjunto de los 100 problemas, el informe cita puntuaciones de 92,4 y 90,4, procedentes del archivo patched_verdicts.json de los autores. Las 50 ejecuciones del flujo de trabajo se publican, con cada solicitud, cada respuesta, el programa producido y la salida del corrector. El flujo de trabajo está escrito en formato YAML y no especifica ningún modelo. El alojamiento se realiza a través de OpenRouter, y no en una máquina local. Según el informe, una ejecución toma una duración mediana de 40 minutos y cuesta 0,39 $, es decir, 35,79 $ para las 50.
Las limitaciones señaladas
El informe subraya primero el tamaño de la muestra: diez problemas y cinco pasadas, frente a los 100 de los autores. Las diferencias de 9,8 y 9,6 se sitúan, según él, en el margen de error, y la afirmación se refiere a la paridad con el arnés de los autores. También menciona una posible contaminación, ya que los concursos datan de la primavera de 2025: el modelo quizás ya se ha enfrentado a estos problemas, lo cual no se excluye para ninguna de las columnas.
Fable 5 solo fue evaluado con una llamada por problema, a partir de los archivos de los autores, y no se ejecutó en este arnés. El bucle examina los ejemplos públicos, mientras que la puntuación corresponde a los tests ocultos. El informe señala finalmente dos deficiencias. En un caso, un responsable inventó un contraejemplo erróneo, y el equipo reescribió un programa correcto. En otras dos ocasiones, un programa correcto falló y luego fue recuperado. Estos dos casos constituyen, según el informe, deficiencias del bucle de los autores, conservadas tal cual.
