Meta hat JiTTests aus dem Forschungsprototypenstadium in seine Produktionsinfrastruktur überführt. Dieses System, basierend auf einem großen Sprachmodell (LLM, eine KI, die auf sehr große Text- und Codemengen trainiert wurde), schreibt ausführbare Tests, die so konzipiert sind, dass sie scheitern, wenn eine Codeänderung ein Risiko darstellt. Laut dem Meta-Team hat es im ersten Halbjahr 2026 74 Vorfälle im Zusammenhang mit der Privatsphäre bereits im Änderungsstadium erkannt.
Ein fehlgeschlagener Test liefert einen konkreten Beweis dafür, dass eine Änderung, genannt « Diff », das Verhalten der Software verändert hat. Die Methode wird in einem Forschungsartikel mit dem Titel « Just-in-Time Catching Test Generation at Meta » beschrieben, der auf der FSE 2026 vorgestellt wurde. Die meisten KI-Tools zur Bug-Erkennung verhalten sich wie schnellere Reviewer: Sie lesen den Diff und hinterlassen Kommentare. JiTTests hingegen führt den Code aus und hebt eine konkrete Verhaltensänderung hervor. Das Team räumt ein, dass dieser Ansatz mehr Rechenschritte erfordert, behauptet aber, dass er Bug-Kategorien erfassen kann, die ein LLM-Review oder ein Agent übersehen könnte.
Eine fünfstufige Pipeline
In der Produktion läuft das System nachts auf ungenutzten Rechenkapazitäten und wählt riskante Diffs des Vortags mithilfe eines Mechanismus ähnlich Metas Diff Risk Score aus. Zwei Workflows generieren dann Kandidatentests. Der erste, genannt « dodgy diff », geht davon aus, dass jede Änderung einen Bug enthält und behandelt sie als Variante der vorherigen Version. Der zweite, « intent-aware », leitet zunächst die Absicht der Änderung aus ihrem Code, Titel und ihrer Zusammenfassung ab und schreibt dann Tests für die identifizierten Risiken.
Mehrere LLMs übernehmen dann die Rolle von Richtern: Sie bewerten jeden fehlgeschlagenen Test anhand seines Codes, des Fehler-Tracebacks, des Diffs und der abgeleiteten Absicht. In dem Artikel erwähnte Modelle sind Llama3.3-70B, Gemini 3 Pro und Claude Sonnet 4. Ein deterministischer Regel-Filter namens RubFake erkennt anschließend Muster wie Reflektion, fehlerhafte Mock-Objekte oder « not implemented »-Exceptions. Schließlich entscheidet das System basierend auf der kombinierten Bewertung, ob es einen Ingenieur einschaltet.
Ergebnisse in der Forschung, dann in der Produktion
Die Analyse umfasst 22.126 generierte Tests. Die Diff-basierten Methoden produzierten viermal mehr Kandidaten-Erfassungen als Härtungstests und zwanzigmal mehr als zufällig fehlschlagende Tests. Der « intent-aware »-Workflow produzierte « weak catches », also Kandidaten-Fehlschläge und keine bestätigten Bugs, in 6,4 % seiner Tests (52 von 811) und bei 7,9 % der Diffs. Diese Zahlen stammen aus der Tabelle des Forschungsartikels und sind von Meta selbst berichtet.
Das erste Deployment war bescheidener: 41 Kandidaten-Erfassungen wurden an Ingenieure gemeldet, davon 8 bestätigte True Positives, also 19,5 %. Vier davon hätten in der Produktion zu schwerwiegenden Ausfällen geführt. In einem Engineering-Blogbeitrag vom Oktober 2026 gibt Meta an, dass 589 Ingenieure mit JiTTests interagiert haben, also 64 % derjenigen, die kontaktiert wurden, und dass diese eine True-Positive-Rate von 60 % melden. Im gleichen Zeitraum sank die Gesamtzahl der Vorfälle im Zusammenhang mit der Privatsphäre um 20 %.
Ein internes Tool
In diesem Modell legen Ingenieure Kriterien fest und verfolgen die Ergebnisse auf aggregierter Ebene, ohne jeden einzelnen Test zu prüfen. Laut dem Team lesen sie selten den Testcode und bestätigen nur, ob eine beobachtete Verhaltensänderung beabsichtigt war. Meta hat weder Code, Modelle noch eine API veröffentlicht: JiTTests bleibt ein internes Tool.
