Meta presenta JiTTests : pruebas generadas por LLM para fallar antes de que un código riesgoso llegue a producción

Meta presenta JiTTests : pruebas generadas por LLM para fallar antes de que un código riesgoso llegue a producción
3 min de lectura

Meta ha llevado a JiTTests de la etapa de prototipo de investigación a su infraestructura de producción. Este sistema, basado en un modelo de lenguaje grande (LLM, una IA entrenada en volúmenes muy grandes de texto y código), escribe pruebas ejecutables diseñadas para fallar cuando una modificación de código presenta un riesgo. Según el equipo de Meta, ha permitido detectar 74 incidentes relacionados con la privacidad desde la etapa de modificación, durante el primer semestre de 2026.

Una prueba que falla proporciona una prueba concreta de que una modificación, llamada « diff », ha cambiado el comportamiento del software. El método se describe en un artículo de investigación titulado « Just-in-Time Catching Test Generation at Meta », presentado en FSE 2026. La mayoría de las herramientas de IA para detección de errores se comportan como revisores más rápidos: leen el diff y dejan comentarios. JiTTests, en cambio, ejecuta el código y pone de manifiesto una diferencia de comportamiento concreta. El equipo reconoce que este enfoque requiere más pasos de cálculo, pero sostiene que permite atrapar categorías de errores que la revisión por un LLM o por un agente puede pasar por alto.

Un pipeline en cinco etapas

En producción, el sistema funciona de noche, en las capacidades de cálculo no utilizadas, y selecciona los diffs riesgosos del día anterior gracias a un mecanismo comparable al Diff Risk Score de Meta. Dos flujos de trabajo generan luego las pruebas candidatas. El primero, llamado « dodgy diff », parte del principio de que cada modificación contiene un error y la trata como una variante de la versión anterior. El segundo, llamado « intent-aware », deduce primero la intención de la modificación a partir de su código, su título y su resumen, y luego escribe pruebas para los riesgos identificados.

Varios LLM juegan luego el papel de jueces: califican cada prueba que falla a partir de su código, la traza de error, el diff y la intención deducida. Los modelos mencionados en el artículo son Llama3.3-70B, Gemini 3 Pro y Claude Sonnet 4. Un filtro de reglas deterministas, bautizado RubFake, detecta luego patrones como la reflexión, los objetos simulados defectuosos o las excepciones « not implemented ». Finalmente, el sistema decide, según la clasificación combinada, si solicita a un ingeniero.

Resultados en investigación, luego en producción

El análisis abarca 22 126 pruebas generadas. Los métodos que tienen en cuenta el diff produjeron cuatro veces más capturas candidatas que las pruebas de endurecimiento, y veinte veces más que las pruebas que fallaban por casualidad. El flujo de trabajo intent-aware produjo « weak catches », es decir, fallos candidatos y no errores confirmados, en el 6,4 % de sus pruebas (52 de 811) y en el 7,9 % de los diffs. Estas cifras figuran en la tabla del artículo de investigación y son auto-declaradas por Meta.

El despliegue inicial fue más modesto: se reportaron 41 capturas candidatas a los ingenieros, de las cuales 8 fueron verdaderos positivos confirmados, es decir, un 19,5 %. Cuatro de ellos habrían provocado fallos graves en producción. En una publicación de ingeniería publicada en octubre de 2026, Meta indica que 589 ingenieros interactuaron con JiTTests, es decir, el 64 % de los que fueron solicitados, y que estos reportan una tasa de verdaderos positivos del 60 %. En el mismo período, la ocurrencia global de incidentes relacionados con la privacidad bajó un 20 %.

Una herramienta interna

En este modelo, los ingenieros fijan criterios y siguen los resultados de manera global, sin examinar cada prueba. Según el equipo, rara vez leen el código de las pruebas y solo confirman si un cambio de comportamiento observado era deseado. Meta no ha publicado ni código, ni modelos, ni API: JiTTests sigue siendo una herramienta interna.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x