Meta перевела JiTTests из стадии исследовательского прототипа в свою производственную инфраструктуру. Эта система, основанная на большой языковой модели (LLM, ИИ, обученная на огромных объемах текста и кода), пишет исполняемые тесты, предназначенные для провала, когда изменение кода представляет риск. По словам команды Meta, она позволила обнаружить 74 инцидента, связанных с конфиденциальностью уже на этапе изменения кода в первом полугодии 2026 года.
Проваленный тест предоставляет конкретное доказательство того, что изменение, называемое « diff », изменило поведение программного обеспечения. Метод описан в исследовательской статье « Just-in-Time Catching Test Generation at Meta », представленной на FSE 2026. Большинство инструментов ИИ для обнаружения багов ведут себя как более быстрые ревьюверы: они читают diff и оставляют комментарии. JiTTests же исполняет код и выявляет конкретное различие в поведении. Команда признает, что этот подход требует больше вычислительных шагов, но утверждает, что он позволяет отлавливать категории багов, которые могут быть пропущены при ревью LLM или агентом.
Конвейер из пяти этапов
В продакшене система работает ночью, на неиспользуемых вычислительных мощностях, и выбирает рискованные диффы за предыдущий день с помощью механизма, сравнимого с Diff Risk Score от Meta. Затем два рабочих процесса генерируют кандидатов в тесты. Первый, называемый « dodgy diff », исходит из предположения, что каждое изменение содержит баг, и рассматривает его как вариант предыдущей версии. Второй, « intent-aware », сначала выводит намерение изменения из его кода, заголовка и описания, а затем пишет тесты для выявленных рисков.
Затем несколько LLM выступают в роли судей: они оценивают каждый проваленный тест на основе его кода, трассировки ошибки, диффа и выведенного намерения. Модели, упомянутые в статье, — это Llama3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Затем детерминированный фильтр правил под названием RubFake выявляет шаблоны, такие как рефлексия, неисправные мок-объекты или исключения « not implemented ». Наконец, система решает на основе комбинированного рейтинга, нужно ли обращаться к инженеру.
Результаты в исследованиях, а затем в продакшене
Анализ охватывает 22 126 сгенерированных тестов. Методы, учитывающие diff, дали в четыре раза больше кандидатов на обнаружение, чем тесты на устойчивость, и в двадцать раз больше, чем тесты, которые проваливались случайно. Рабочий процесс intent-aware дал « weak catches », то есть кандидатов на провал, а не подтвержденные баги, в 6,4 % своих тестов (52 из 811) и на 7,9 % диффов. Эти цифры приведены в таблице исследовательской статьи и являются самоотчетными данными Meta.
Первоначальное развертывание было более скромным: инженерам было передано 41 кандидат на обнаружение, из которых 8 были подтверждены как истинно положительные, что составляет 19,5 %. Четыре из них могли бы вызвать серьезные сбои в продакшене. В инженерном посте, опубликованном в октябре 2026 года, Meta сообщает, что 589 инженеров взаимодействовали с JiTTests, что составляет 64 % от тех, к кому обратились, и что они сообщают о 60 % истинно положительных срабатываний. За тот же период общая частота инцидентов, связанных с конфиденциальностью, снизилась на 20 %.
Внутренний инструмент
В этой модели инженеры устанавливают критерии и отслеживают результаты в целом, не проверяя каждый тест. По словам команды, они редко читают код тестов и лишь подтверждают, было ли наблюдаемое изменение поведения преднамеренным. Meta не опубликовала ни код, ни модели, ни API: JiTTests остается внутренним инструментом.
