Harness² mejora el rendimiento de los agentes de IA sin cambiar el modelo

Harness² mejora el rendimiento de los agentes de IA sin cambiar el modelo
3 min de lectura

Google Research presenta Harness², un método que busca mejorar un agente de IA sin tocar su modelo, ajustando el dispositivo que lo rodea. Este dispositivo, llamado «harnais» (harness), agrupa las instrucciones, las herramientas, la memoria y el bucle de control que enmarcan al modelo. El enfoque busca adaptar este harnais en tiempo de ejecución, incluso para tareas que sus diseñadores no habían previsto.

El punto de partida es simple: ningún harnais es el mejor en todas partes. Según los elementos presentados, Claude Code obtiene mejores resultados en código y hojas de cálculo, mientras que Codex lidera en tareas web. Un harnais fijo deja por tanto rendimiento sobre la mesa.

Por qué falla la reescritura automática de las instrucciones

Dejar que un agente reescriba su propio prompt del sistema, es decir, las instrucciones iniciales que se le dan, parece prometedor. En la práctica, esto puede degradar los resultados. Estas instrucciones se releen a lo largo de la tarea, y cuanto más se alargan, más consumen de tokens, las unidades de texto que procesa el modelo. Cuando se agota este presupuesto, el agente puede fallar antes de haber terminado.

Harness² no actúa por tanto sobre el texto de las instrucciones. Modifica ocho componentes agrupados en cuatro familias: el contexto, la interfaz de las herramientas, la delegación a subagentes y los «middlewares», extensiones que intervienen en el bucle de uso de las herramientas. Una regla inscrita en un prompt sigue siendo un consejo, mientras que una regla colocada en el bucle de control se aplica. Dos correcciones ilustran esta diferencia: un mecanismo de supervisión que fuerza al agente a redactar antes de agotar su presupuesto, y un script que bloquea el fin de una tarea mientras una hoja de cálculo contenga fórmulas faltantes.

Proponer, probar, componer

El proceso se desarrolla en tres etapas. El agente ejecuta la tarea una vez, luego dos editores analizan el registro de ejecución: uno examina los engranajes del flujo de trabajo, el otro propone reglas de negocio. El harnais modificado se relanza luego sobre la misma tarea, y los dos intentos se comparan. Una modificación solo se conserva si corrige una falla concreta y observable. Según los trabajos, esta etapa de prueba es determinante: sin ella, el rendimiento habría bajado alrededor de un 10 %.

Resultados anunciados y límites

Las pruebas abarcan tres bancos de benchmarks profesionales, en cuatro configuraciones de modelo y harnais, con GLM-5 y Gemini 3.5 Flash. Las ganancias reportadas llegan hasta 11,5 puntos en WorkBuddy-Bench, 4,5 puntos en JobBench y 11,8 puntos porcentuales en LAB, en tasa de éxito parcial. Un harnais optimizado con un modelo potente también mejoró los resultados de un modelo más pequeño, en 17 puntos. Por el contrario, ReasoningBank, una base de memoria de referencia, obtuvo 6,6 puntos menos que el harnais base en las tareas de programación.

El autor del artículo fuente instaló el proyecto, que funciona en Linux con Python 3.12, y lanzó su demostración, que concluyó sin fallos en dos tareas contables. Señala sin embargo que la demostración no es el método: la mayoría de los componentes permanecen vacíos o en estado de simples marcadores de posición, y la parte descrita por el artículo solo aparece una vez conectado un modelo.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x