Google Research представляет Harness² — метод, призванный улучшить ИИ-агента, не затрагивая его модель, путем настройки окружающей его оболочки. Эта оболочка, называемая «хернесс» (harness), включает в себя инструкции, инструменты, память и управляющий цикл, в который помещена модель. Подход направлен на адаптацию этого хернесса во время выполнения, в том числе для задач, не предусмотренных его разработчиками.
Исходный посыл прост: ни один хернесс не является лучшим во всем. Согласно представленным данным, Claude Code показывает лучшие результаты в работе с кодом и электронными таблицами, тогда как Codex лидирует в веб-задачах. Таким образом, фиксированный хернесс оставляет часть производительности неиспользованной.
Почему автоматический переписывание инструкций терпит неудачу
Позволить агенту переписывать собственный системный промпт, то есть исходные инструкции, которые ему даются, кажется многообещающим. На практике это может ухудшить результаты. Эти инструкции перечитываются на протяжении всего выполнения задачи, и чем они длиннее, тем больше токенов они потребляют — единиц текста, обрабатываемых моделью. Когда этот бюджет исчерпан, агент может потерпеть неудачу, не завершив задачу.
Поэтому Harness² не воздействует на текст инструкций. Он модифицирует восемь компонентов, сгруппированных в четыре семейства: контекст, интерфейс инструментов, делегирование под-агентам и «мидлвари» — расширения, вмешивающиеся в цикл использования инструментов. Правило, записанное в промпте, остается лишь рекомендацией, тогда как правило, размещенное в управляющем цикле, применяется принудительно. Два исправления иллюстрируют эту разницу: механизм мониторинга, который заставляет агента составлять текст до исчерпания бюджета, и скрипт, блокирующий завершение задачи, пока в электронной таблице остаются незаполненные формулы.
Предложить, протестировать, скомбинировать
Процесс проходит в три этапа. Агент выполняет задачу один раз, затем два редактора анализируют журнал выполнения: один исследует внутреннюю механику рабочего процесса, другой предлагает бизнес-правила. Модифицированный хернесс затем запускается повторно на той же задаче, и две попытки сравниваются. Модификация сохраняется только в том случае, если она исправляет конкретный и наблюдаемый сбой. Согласно исследованию, этот тестовый этап является решающим: без него производительность снизилась бы примерно на 10%.
Заявленные результаты и ограничения
Тестирование проводилось на трех наборах профессиональных бенчмарков, в четырех конфигурациях модели и хернесса, с использованием GLM-5 и Gemini 3.5 Flash. Заявленные улучшения достигают 11,5 баллов на WorkBuddy-Bench, 4,5 баллов на JobBench и 11,8 процентных пунктов на LAB по показателю частичного успеха. Хернесс, оптимизированный с мощной моделью, также улучшил результаты более слабой модели на 17 баллов. С другой стороны, ReasoningBank, эталонная база памяти, показал результат на 6,6 балла хуже базового хернесса в задачах программирования.
Автор исходной статьи установил проект, который работает на Linux с Python 3.12, и запустил его демонстрацию, успешно завершившуюся на двух бухгалтерских задачах. Однако он подчеркивает, что демонстрация — это не метод: большинство компонентов остаются пустыми или в виде простых заглушек, а часть, описанная в статье, появляется только после подключения модели.
