Cinco agentes Qwen3.8-27B bateram Fable 5 no LiveCodeBench Hard, no âmbito de um workflow Memdoor, de acordo com o relatório dedicado a esta experiência. Os resultados referem-se, contudo, a um número limitado de problemas, e o próprio relatório detalha várias ressalvas.
- Cinco agentes Qwen3.8-27B superam o Fable 5 no LiveCodeBench Hard, com o workflow Memdoor.
- Nos dez primeiros problemas, o workflow obtém 9,8 em 10, e o Fable 5 obtém 8,0.
- A amostra é pequena, e pode haver contaminação, porque os concursos datam de 2025.
- Cada execução dura cerca de 40 minutos e custa 0,39 $.
Memdoor é simultaneamente um agente de codificação e um executor de workflows. Um agente é um programa capaz de encadear sozinho várias ações. O Memdoor pode assim ler ficheiros, modificar código e efetuar verificações. Para as tarefas repetitivas, um workflow coordena as etapas de verificação, as tarefas paralelas e as etapas de validação.
Pontuações medidas em dez problemas
De acordo com o relatório, o *harness* dos autores, um dispositivo de avaliação reconstruído seguindo exatamente as suas instruções e o seu ciclo, foi testado no mesmo modelo, Qwen3.8-27B, com um limite de resposta de 128K. Nos dez primeiros problemas da lista «Hard» do LiveCodeBench, um *benchmark* de avaliação de programação, com cinco passagens cada, o workflow obtém uma média de 9,8 em 10. O *harness* dos autores obtém 9,6, e o Fable 5, numa única chamada, 8,0.
No conjunto dos 100 problemas, o relatório cita pontuações de 92,4 e 90,4, provenientes do ficheiro patched_verdicts.json dos autores. As 50 execuções do workflow são publicadas, com cada pedido, cada resposta, o programa produzido e a saída do corretor. O workflow está escrito no formato YAML e não especifica nenhum modelo. A hospedagem é feita via OpenRouter, e não numa máquina local. Segundo o relatório, uma execução tem uma duração mediana de 40 minutos e custa 0,39 $, ou seja, 35,79 $ para as 50.
As limitações assinaladas
O relatório salienta primeiro a dimensão da amostra: dez problemas e cinco passagens, contra os 100 dos autores. Os desvios de 9,8 e 9,6 situam-se, na sua opinião, na margem de erro, e a afirmação refere-se à paridade com o *harness* dos autores. Evoca também uma possível contaminação, uma vez que os concursos datam da primavera de 2025: o modelo pode já ter sido confrontado com esses problemas, o que não é excluído para nenhuma das colunas.
O Fable 5 só foi avaliado a uma chamada por problema, a partir dos ficheiros dos autores, e não foi executado neste *harness*. O ciclo examina os exemplos públicos, enquanto a pontuação corresponde aos testes ocultos. O relatório assinala ainda duas lacunas. Num caso, um responsável inventou um contraexemplo errado, e a equipa reescreveu um programa correto. Por duas outras vezes, um programa correto bloqueou e foi depois recuperado. Estes dois casos constituem, segundo o relatório, lacunas do ciclo dos autores, mantidas tal como estavam.
