Meta a fait passer JiTTests du stade de prototype de recherche à son infrastructure de production. Ce système, fondé sur un grand modèle de langage (LLM, une IA entraînée sur de très grands volumes de texte et de code), écrit des tests exécutables conçus pour échouer lorsqu’une modification de code présente un risque. Selon l’équipe de Meta, il a permis de détecter 74 incidents liés à la vie privée dès le stade de la modification, au cours du premier semestre 2026.
Un test qui échoue fournit une preuve concrète qu’une modification, appelée « diff », a changé le comportement du logiciel. La méthode est décrite dans un article de recherche intitulé « Just-in-Time Catching Test Generation at Meta », présenté à FSE 2026. La plupart des outils d’IA de détection de bugs se comportent comme des relecteurs plus rapides : ils lisent le diff et laissent des commentaires. JiTTests, lui, exécute le code et met en évidence une différence de comportement concrète. L’équipe reconnaît que cette approche demande davantage d’étapes de calcul, mais elle soutient qu’elle permet d’attraper des catégories de bugs que la relecture par un LLM ou par un agent peut manquer.
Un pipeline en cinq étapes
En production, le système fonctionne la nuit, sur les capacités de calcul inutilisées, et sélectionne les diffs risqués de la veille grâce à un mécanisme comparable au Diff Risk Score de Meta. Deux workflows génèrent ensuite les tests candidats. Le premier, dit « dodgy diff », part du principe que chaque modification contient un bug et la traite comme une variante de la version précédente. Le second, dit « intent-aware », déduit d’abord l’intention de la modification à partir de son code, de son titre et de son résumé, puis écrit des tests pour les risques identifiés.
Plusieurs LLM jouent ensuite le rôle de juges : ils notent chaque test en échec à partir de son code, de la trace d’erreur, du diff et de l’intention déduite. Les modèles mentionnés dans l’article sont Llama3.3-70B, Gemini 3 Pro et Claude Sonnet 4. Un filtre à règles déterministes, baptisé RubFake, repère ensuite des motifs comme la réflexion, les objets simulés défaillants ou les exceptions « not implemented ». Enfin, le système décide, selon le classement combiné, s’il sollicite un ingénieur.
Des résultats en recherche, puis en production
L’analyse porte sur 22 126 tests générés. Les méthodes tenant compte du diff ont produit quatre fois plus de captures candidates que les tests de durcissement, et vingt fois plus que les tests qui échouaient par hasard. Le workflow intent-aware a produit des « weak catches », c’est-à-dire des échecs candidats et non des bugs confirmés, dans 6,4 % de ses tests (52 sur 811) et sur 7,9 % des diffs. Ces chiffres figurent dans le tableau de l’article de recherche et sont auto-déclarés par Meta.
Le déploiement initial était plus modeste : 41 captures candidates ont été remontées aux ingénieurs, dont 8 vrais positifs confirmés, soit 19,5 %. Quatre d’entre eux auraient provoqué des défaillances graves en production. Dans un billet d’ingénierie publié en octobre 2026, Meta indique que 589 ingénieurs ont interagi avec JiTTests, soit 64 % de ceux qui ont été sollicités, et que ceux-ci rapportent un taux de vrais positifs de 60 %. Sur la même période, l’occurrence globale des incidents liés à la vie privée a baissé de 20 %.
Un outil interne
Dans ce modèle, les ingénieurs fixent des critères et suivent les résultats de manière globale, sans examiner chaque test. Selon l’équipe, ils lisent rarement le code des tests et confirment seulement si un changement de comportement observé était voulu. Meta n’a publié ni code, ni modèles, ni API : JiTTests reste un outil interne.
