Meta levou o JiTTests do estágio de protótipo de investigação para a sua infraestrutura de produção. Este sistema, baseado num grande modelo de linguagem (LLM, uma IA treinada em volumes muito grandes de texto e código), escreve testes executáveis concebidos para falhar quando uma modificação de código apresenta um risco. Segundo a equipa da Meta, permitiu detetar 74 incidentes relacionados com a privacidade logo na fase de modificação, durante o primeiro semestre de 2026.
Um teste que falha fornece uma prova concreta de que uma modificação, chamada « diff », alterou o comportamento do software. O método é descrito num artigo de investigação intitulado « Just-in-Time Catching Test Generation at Meta », apresentado na FSE 2026. A maioria das ferramentas de IA de deteção de bugs comporta-se como revisores mais rápidos: leem o diff e deixam comentários. O JiTTests, por sua vez, executa o código e evidencia uma diferença de comportamento concreta. A equipa reconhece que esta abordagem exige mais etapas de cálculo, mas defende que permite apanhar categorias de bugs que a revisão por um LLM ou por um agente pode perder.
Um pipeline em cinco etapas
Em produção, o sistema funciona durante a noite, nas capacidades de cálculo não utilizadas, e seleciona os diffs arriscados do dia anterior através de um mecanismo comparável ao Diff Risk Score da Meta. Dois fluxos de trabalho geram depois os testes candidatos. O primeiro, dito « dodgy diff », parte do princípio de que cada modificação contém um bug e trata-a como uma variante da versão anterior. O segundo, dito « intent-aware », deduz primeiro a intenção da modificação a partir do seu código, do seu título e do seu resumo, e depois escreve testes para os riscos identificados.
Vários LLM desempenham depois o papel de juízes: classificam cada teste que falha a partir do seu código, do rastreio de erro, do diff e da intenção deduzida. Os modelos mencionados no artigo são o Llama3.3-70B, o Gemini 3 Pro e o Claude Sonnet 4. Um filtro de regras determinísticas, batizado de RubFake, deteta depois padrões como a reflexão, objetos simulados defeituosos ou exceções « not implemented ». Por fim, o sistema decide, com base na classificação combinada, se deve contactar um engenheiro.
Resultados em investigação, depois em produção
A análise abrange 22 126 testes gerados. Os métodos que têm em conta o diff produziram quatro vezes mais capturas candidatas do que os testes de endurecimento, e vinte vezes mais do que os testes que falhavam por acaso. O fluxo de trabalho intent-aware produziu « weak catches », ou seja, falhas candidatas e não bugs confirmados, em 6,4 % dos seus testes (52 em 811) e em 7,9 % dos diffs. Estes números constam da tabela do artigo de investigação e são auto-declarados pela Meta.
A implementação inicial foi mais modesta: 41 capturas candidatas foram reportadas aos engenheiros, das quais 8 verdadeiros positivos confirmados, ou seja, 19,5 %. Quatro deles teriam provocado falhas graves em produção. Num artigo de engenharia publicado em outubro de 2026, a Meta indica que 589 engenheiros interagiram com o JiTTests, ou seja, 64 % dos que foram contactados, e que estes relatam uma taxa de verdadeiros positivos de 60 %. No mesmo período, a ocorrência global de incidentes relacionados com a privacidade diminuiu 20 %.
Uma ferramenta interna
Neste modelo, os engenheiros definem critérios e acompanham os resultados de forma global, sem examinar cada teste. Segundo a equipa, raramente leem o código dos testes e confirmam apenas se uma alteração de comportamento observada era intencional. A Meta não publicou código, nem modelos, nem API: o JiTTests mantém-se uma ferramenta interna.
