Meta przeniosła JiTTests ze stadium prototypu badawczego do swojej infrastruktury produkcyjnej. Ten system, oparty na dużym modelu językowym (LLM, AI szkolona na bardzo dużych wolumenach tekstu i kodu), pisze wykonywalne testy zaprojektowane tak, aby zawiodły, gdy zmiana kodu niesie ze sobą ryzyko. Według zespołu Meta pozwolił on wykryć 74 incydenty związane z prywatnością już na etapie modyfikacji, w pierwszej połowie 2026 roku.
Test, który zawodzi, dostarcza namacalnego dowodu, że zmiana, zwana « diff », zmieniła zachowanie oprogramowania. Metoda jest opisana w artykule badawczym zatytułowanym « Just-in-Time Catching Test Generation at Meta », zaprezentowanym na FSE 2026. Większość narzędzi AI do wykrywania błędów zachowuje się jak szybsi recenzenci: czytają diff i zostawiają komentarze. JiTTests natomiast wykonuje kod i uwidacznia namacalną różnicę w zachowaniu. Zespół przyznaje, że to podejście wymaga więcej kroków obliczeniowych, ale twierdzi, że pozwala ono wyłapać kategorie błędów, które mogą umknąć recenzji przez LLM lub przez agenta.
Potok w pięciu krokach
W produkcji system działa w nocy, na niewykorzystanych mocach obliczeniowych, i wybiera ryzykowne diffy z poprzedniego dnia za pomocą mechanizmu porównywalnego do Diff Risk Score od Meta. Dwa workflow generują następnie testy kandydackie. Pierwszy, zwany « dodgy diff », zakłada, że każda modyfikacja zawiera błąd i traktuje ją jako wariant poprzedniej wersji. Drugi, zwany « intent-aware », najpierw dedukuje intencję zmiany na podstawie jej kodu, tytułu i podsumowania, a następnie pisze testy dla zidentyfikowanych ryzyk.
Następnie kilka LLM pełni rolę sędziów: oceniają każdy nieudany test na podstawie jego kodu, śladu błędu, diffa i wydedukowanej intencji. Wymienione w artykule modele to Llama3.3-70B, Gemini 3 Pro i Claude Sonnet 4. Deterministyczny filtr regułowy, nazwany RubFake, wykrywa następnie wzorce takie jak refleksja, nieudane obiekty mockowane czy wyjątki « not implemented ». Na koniec system decyduje, na podstawie połączonego rankingu, czy zaangażować inżyniera.
Wyniki w badaniach, a następnie w produkcji
Analiza obejmuje 22 126 wygenerowanych testów. Metody uwzględniające diff wyprodukowały cztery razy więcej kandydackich przechwyceń niż testy hardeningowe i dwadzieścia razy więcej niż testy, które zawiodły przypadkowo. Workflow intent-aware wyprodukował « słabe przechwycenia », czyli kandydackie niepowodzenia, a nie potwierdzone błędy, w 6,4% swoich testów (52 na 811) i na 7,9% diffów. Dane te znajdują się w tabeli artykułu badawczego i są samodeklarowane przez Meta.
Początkowy wdrożenie było bardziej skromne: 41 kandydackich przechwyceń zostało zgłoszonych inżynierom, z czego 8 potwierdzonych prawdziwych pozytywów, czyli 19,5%. Cztery z nich mogłyby spowodować poważne awarie w produkcji. W poście inżynieryjnym opublikowanym w październiku 2026 roku Meta wskazuje, że 589 inżynierów miało interakcję z JiTTests, czyli 64% tych, którzy zostali zaangażowani, i że ci inżynierowie zgłaszają wskaźnik prawdziwych pozytywów na poziomie 60%. W tym samym okresie ogólna częstość występowania incydentów związanych z prywatnością spadła o 20%.
Narzędzie wewnętrzne
W tym modelu inżynierowie ustalają kryteria i śledzą wyniki globalnie, bez badania każdego testu. Według zespołu rzadko czytają oni kod testów i tylko potwierdzają, czy zaobserwowana zmiana zachowania była zamierzona. Meta nie opublikowała ani kodu, ani modeli, ani API: JiTTests pozostaje narzędziem wewnętrznym.
