Когда ИИ-агент допускает ошибку, исправления кода уже недостаточно, потому что дефект может вернуться. Команды, которые быстрее всего выпускают продукты с помощью агентов, теперь отдают приоритет упряжке, то есть окружению, в котором работает модель, прежде чем править код.
Что такое упряжка?
Упряжка включает в себя всё, что окружает модель: hooks, skills, линтеры, тесты и правила CI (непрерывной интеграции, то есть автоматические проверки кода). Это детерминированные механизмы, которые тестируют и проверяют работу агента до отправки кода. По словам источника, разницу делает не модель: хорошая упряжка со скромной моделью лучше, чем отличная модель, предоставленная самой себе.
Инженерный контекст, в свою очередь, заключается в размещении правильной информации в нужном месте и в нужное время. Упряжка — это его часть, которая даёт уверенность в производимом результате.
Ошибка — лишь симптом
Исправлять код, не трогая упряжку, — всё равно что латать протечку, не глядя на трубу. Если агент пропустил ошибку, значит, не хватило правила, не существовало нужного хука или контекст был перегружен. Та же самая ошибка вернётся в другой форме в следующей сессии.
В staging-среде, тестовом окружении перед продакшеном, метод заключается в том, чтобы отталкиваться от упряжки: почему это не сработало, в каком месте, какой навык изменить? Часто ответ укладывается в одну фразу: контекст был слишком перегружен, не хватило информации. Если ошибка тривиальна, её можно исправить вручную, при условии, что это будет зафиксировано, чтобы упряжка извлекла урок.
Отслеживать каждую ошибку
Чтобы этот подход работал, нужно знать происхождение каждой ошибки: какая модель, какая сессия, какой навык, какой агент создал тот или иной коммит. Без этой прослеживаемости исправления делаются вслепую. С ней становится возможным воспроизвести одну и ту же задачу десять раз и сравнить конфигурации как по скорости, так и по стоимости.
В небольшой команде несколько разработчиков и продуктовых специалистов могут отправлять несколько тысяч пул-реквестов за несколько месяцев. Значительная часть времени инженера, иногда три четверти, уходит тогда на работу с упряжкой, которая эволюционирует вместе с приложением, с изменениями в команде и с требованиями по стоимости и безопасности.
Ревью и новая профессия
Некоторые больше не проверяют большую часть кода, который отправляют в продакшен. Это не халатность, утверждает источник, а смещение точки приложения доверия, которое больше не опирается на человеческий глаз, а основывается на накопленных блокировках. Прагматизм сохраняется: платёжные операции всё ещё проверяют, в то время как мобильное приложение, ожидающее несколько дней одобрения в магазине приложений, требует большей осторожности. Уровень строгости упряжки настраивается в зависимости от риска.
Застывшая упряжка тоже может стать тормозом. Заблокированная на старой версии модели, она может неделями сдерживать команду, которая не понимает, почему их коллеги довольны. Появляется роль, пока не имеющая устойчивого названия, нечто среднее между devex, staff engineer и « метабилдером ». Старшие специалисты будут настраивать упряжку, а не проверять код, и продуктовые или дизайнерские специалисты будут вносить в неё вклад.
Вчера исправляли то, что написала машина. Завтра будут исправлять то, что позволило ей написать плохо. Остаётся вопрос: если код больше не проверяют, кто проверяет упряжку?
