The AI / news

Meta представляет JiTTests : тесты на основе LLM, которые проваливаются до того, как рискованный код попадет в продакшен

Meta представляет JiTTests : тесты на основе LLM, которые проваливаются до того, как рискованный код попадет в продакшен
3 мин чтения

Meta перевела JiTTests из стадии исследовательского прототипа в свою производственную инфраструктуру. Эта система, основанная на большой языковой модели (LLM, ИИ, обученная на огромных объемах текста и кода), пишет исполняемые тесты, предназначенные для провала, когда изменение кода представляет риск. По словам команды Meta, она позволила обнаружить 74 инцидента, связанных с конфиденциальностью уже на этапе изменения кода в первом полугодии 2026 года.

Проваленный тест предоставляет конкретное доказательство того, что изменение, называемое « diff », изменило поведение программного обеспечения. Метод описан в исследовательской статье « Just-in-Time Catching Test Generation at Meta », представленной на FSE 2026. Большинство инструментов ИИ для обнаружения багов ведут себя как более быстрые ревьюверы: они читают diff и оставляют комментарии. JiTTests же исполняет код и выявляет конкретное различие в поведении. Команда признает, что этот подход требует больше вычислительных шагов, но утверждает, что он позволяет отлавливать категории багов, которые могут быть пропущены при ревью LLM или агентом.

Конвейер из пяти этапов

В продакшене система работает ночью, на неиспользуемых вычислительных мощностях, и выбирает рискованные диффы за предыдущий день с помощью механизма, сравнимого с Diff Risk Score от Meta. Затем два рабочих процесса генерируют кандидатов в тесты. Первый, называемый « dodgy diff », исходит из предположения, что каждое изменение содержит баг, и рассматривает его как вариант предыдущей версии. Второй, « intent-aware », сначала выводит намерение изменения из его кода, заголовка и описания, а затем пишет тесты для выявленных рисков.

Затем несколько LLM выступают в роли судей: они оценивают каждый проваленный тест на основе его кода, трассировки ошибки, диффа и выведенного намерения. Модели, упомянутые в статье, — это Llama3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Затем детерминированный фильтр правил под названием RubFake выявляет шаблоны, такие как рефлексия, неисправные мок-объекты или исключения « not implemented ». Наконец, система решает на основе комбинированного рейтинга, нужно ли обращаться к инженеру.

Результаты в исследованиях, а затем в продакшене

Анализ охватывает 22 126 сгенерированных тестов. Методы, учитывающие diff, дали в четыре раза больше кандидатов на обнаружение, чем тесты на устойчивость, и в двадцать раз больше, чем тесты, которые проваливались случайно. Рабочий процесс intent-aware дал « weak catches », то есть кандидатов на провал, а не подтвержденные баги, в 6,4 % своих тестов (52 из 811) и на 7,9 % диффов. Эти цифры приведены в таблице исследовательской статьи и являются самоотчетными данными Meta.

Первоначальное развертывание было более скромным: инженерам было передано 41 кандидат на обнаружение, из которых 8 были подтверждены как истинно положительные, что составляет 19,5 %. Четыре из них могли бы вызвать серьезные сбои в продакшене. В инженерном посте, опубликованном в октябре 2026 года, Meta сообщает, что 589 инженеров взаимодействовали с JiTTests, что составляет 64 % от тех, к кому обратились, и что они сообщают о 60 % истинно положительных срабатываний. За тот же период общая частота инцидентов, связанных с конфиденциальностью, снизилась на 20 %.

Внутренний инструмент

В этой модели инженеры устанавливают критерии и отслеживают результаты в целом, не проверяя каждый тест. По словам команды, они редко читают код тестов и лишь подтверждают, было ли наблюдаемое изменение поведения преднамеренным. Meta не опубликовала ни код, ни модели, ни API: JiTTests остается внутренним инструментом.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x