Meta presenteert JiTTests : door LLM gegenereerde tests om te falen voordat riskante code in productie komt

Meta presenteert JiTTests : door LLM gegenereerde tests om te falen voordat riskante code in productie komt
3 min lezen

Meta heeft JiTTests van het onderzoeksprototypestadium naar zijn productie-infrastructuur gebracht. Dit systeem, gebaseerd op een groot taalmodel (LLM, een AI getraind op zeer grote hoeveelheden tekst en code), schrijft uitvoerbare tests die ontworpen zijn om te falen wanneer een codewijziging een risico vormt. Volgens het team van Meta heeft het in de eerste helft van 2026 74 privacygerelateerde incidenten kunnen detecteren in het wijzigingsstadium.

Een test die faalt levert concreet bewijs dat een wijziging, een zogenaamde ‘diff’, het gedrag van de software heeft veranderd. De methode wordt beschreven in een onderzoekspaper getiteld ‘Just-in-Time Catching Test Generation at Meta’, gepresenteerd op FSE 2026. De meeste AI-tools voor bugdetectie gedragen zich als snellere reviewers: ze lezen de diff en laten commentaar achter. JiTTests voert daarentegen de code uit en toont een concreet verschil in gedrag aan. Het team erkent dat deze aanpak meer rekenstappen vereist, maar stelt dat het categorieën bugs kan vangen die een LLM-review of een agent kunnen missen.

Een pijplijn in vijf stappen

In productie draait het systeem ‘s nachts, op ongebruikte rekenkracht, en selecteert het risicovolle diffs van de vorige dag via een mechanisme vergelijkbaar met Meta’s Diff Risk Score. Twee workflows genereren vervolgens de kandidaat-tests. De eerste, de ‘dodgy diff’, gaat ervan uit dat elke wijziging een bug bevat en behandelt deze als een variant van de vorige versie. De tweede, de ‘intent-aware’, leidt eerst de intentie van de wijziging af uit de code, titel en samenvatting, en schrijft vervolgens tests voor de geïdentificeerde risico’s.

Verschillende LLM’s fungeren vervolgens als juryleden: ze beoordelen elke gefaalde test op basis van de code, de fouttrace, de diff en de afgeleide intentie. De in het artikel genoemde modellen zijn Llama3.3-70B, Gemini 3 Pro en Claude Sonnet 4. Een deterministisch regelfilter, genaamd RubFake, spoelt vervolgens patronen op zoals reflectie, falende mock-objecten of ‘not implemented’-exceptions. Ten slotte beslist het systeem, op basis van de gecombineerde ranking, of het een engineer moet inschakelen.

Resultaten eerst in onderzoek, daarna in productie

De analyse omvat 22.126 gegenereerde tests. De methoden die rekening houden met de diff produceerden vier keer zoveel kandidaat-vondsten als hardening-tests, en twintig keer zoveel als tests die toevallig faalden. De intent-aware workflow produceerde ‘weak catches’, dat wil zeggen kandidaat-falingen en geen bevestigde bugs, in 6,4% van zijn tests (52 op 811) en op 7,9% van de diffs. Deze cijfers staan in de tabel van het onderzoeksartikel en zijn zelfgerapporteerd door Meta.

De initiële implementatie was bescheidener: 41 kandidaat-vondsten werden doorgegeven aan engineers, waarvan 8 bevestigde true positives, ofwel 19,5%. Vier daarvan zouden ernstige productiefouten hebben veroorzaakt. In een engineeringblogpost uit oktober 2026 geeft Meta aan dat 589 engineers met JiTTests hebben geïnterageerd, wat 64% is van degenen die werden benaderd, en dat zij een true-positiefpercentage van 60% rapporteren. In dezelfde periode daalde het totale aantal privacygerelateerde incidenten met 20%.

Een interne tool

In dit model stellen engineers criteria vast en volgen ze de resultaten op hoofdlijnen, zonder elke test individueel te bekijken. Volgens het team lezen ze zelden de testcode en bevestigen ze alleen of een waargenomen gedragsverandering de bedoeling was. Meta heeft geen code, modellen of API vrijgegeven: JiTTests blijft een interne tool.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x