Meta ha portato JiTTests dallo stadio di prototipo di ricerca alla sua infrastruttura di produzione. Questo sistema, basato su un grande modello linguistico (LLM, un’IA addestrata su volumi molto grandi di testo e codice), scrive test eseguibili progettati per fallire quando una modifica del codice presenta un rischio. Secondo il team di Meta, ha permesso di rilevare 74 incidenti legati alla privacy già allo stadio della modifica, nel primo semestre del 2026.
Un test che fallisce fornisce una prova concreta che una modifica, chiamata « diff », ha cambiato il comportamento del software. Il metodo è descritto in un articolo di ricerca intitolato « Just-in-Time Catching Test Generation at Meta », presentato a FSE 2026. La maggior parte degli strumenti di IA per il rilevamento di bug si comporta come revisori più veloci: leggono il diff e lasciano commenti. JiTTests, invece, esegue il codice e mette in evidenza una differenza di comportamento concreta. Il team riconosce che questo approccio richiede più passaggi di calcolo, ma sostiene che permette di catturare categorie di bug che la revisione da parte di un LLM o di un agente può mancare.
Una pipeline in cinque fasi
In produzione, il sistema funziona di notte, sulle capacità di calcolo inutilizzate, e seleziona i diff rischiosi del giorno precedente grazie a un meccanismo paragonabile al Diff Risk Score di Meta. Due flussi di lavoro generano poi i test candidati. Il primo, detto « dodgy diff », parte dal presupposto che ogni modifica contenga un bug e la tratta come una variante della versione precedente. Il secondo, detto « intent-aware », deduce prima l’intenzione della modifica dal suo codice, dal suo titolo e dal suo riassunto, poi scrive test per i rischi identificati.
Diversi LLM svolgono poi il ruolo di giudici: valutano ogni test fallito in base al suo codice, alla traccia dell’errore, al diff e all’intenzione dedotta. I modelli menzionati nell’articolo sono Llama3.3-70B, Gemini 3 Pro e Claude Sonnet 4. Un filtro a regole deterministiche, chiamato RubFake, individua poi pattern come la riflessione, oggetti simulati difettosi o eccezioni « not implemented ». Infine, il sistema decide, in base alla classifica combinata, se coinvolgere un ingegnere.
Risultati in ricerca, poi in produzione
L’analisi riguarda 22.126 test generati. I metodi che tengono conto del diff hanno prodotto quattro volte più catture candidate rispetto ai test di hardening, e venti volte più dei test che fallivano per caso. Il flusso di lavoro intent-aware ha prodotto « weak catches », cioè fallimenti candidati e non bug confermati, nel 6,4% dei suoi test (52 su 811) e sul 7,9% dei diff. Queste cifre figurano nella tabella dell’articolo di ricerca e sono auto-dichiarate da Meta.
Il dispiegamento iniziale era più modesto: 41 catture candidate sono state segnalate agli ingegneri, di cui 8 veri positivi confermati, cioè il 19,5%. Quattro di questi avrebbero provocato guasti gravi in produzione. In un post di ingegneria pubblicato nell’ottobre 2026, Meta indica che 589 ingegneri hanno interagito con JiTTests, cioè il 64% di quelli coinvolti, e che questi riportano un tasso di veri positivi del 60%. Nello stesso periodo, l’occorrenza globale degli incidenti legati alla privacy è diminuita del 20%.
Uno strumento interno
In questo modello, gli ingegneri fissano i criteri e seguono i risultati in modo globale, senza esaminare ogni test. Secondo il team, leggono raramente il codice dei test e confermano solo se un cambiamento di comportamento osservato era voluto. Meta non ha pubblicato né codice, né modelli, né API: JiTTests rimane uno strumento interno.
