Metaは、JiTTestsを研究プロトタイプから本番インフラへと移行させた。このシステムは、大規模言語モデル(LLM、膨大な量のテキストとコードで訓練されたAI)を基盤としており、コード変更にリスクがある場合に失敗するように設計された実行可能なテストを生成する。Metaチームによれば、2026年上半期には、変更段階で74件のプライバシー関連インシデントを検出することができた。
失敗するテストは、 »diff »と呼ばれる変更がソフトウェアの動作を変えたという具体的な証拠を提供する。この手法は、FSE 2026で発表された研究論文「Just-in-Time Catching Test Generation at Meta」で説明されている。多くのAIバグ検出ツールは、より高速なレビュアーのように振る舞う:diffを読み、コメントを残す。JiTTestsは、コードを実行し、具体的な動作の違いを明らかにする。チームはこのアプローチがより多くの計算ステップを必要とすることは認めているが、LLMやエージェントによるレビューでは見逃される可能性のあるバグのカテゴリーを捕捉できると主張している。
5段階のパイプライン
本番環境では、システムは夜間に未使用の計算能力を使用して動作し、MetaのDiff Risk Scoreに類似したメカニズムを用いて前日のリスクのあるdiffを選択する。その後、2つのワークフローが候補テストを生成する。1つ目の「dodgy diff」ワークフローは、すべての変更にバグが含まれていると仮定し、それを以前のバージョンの変種として扱う。2つ目の「intent-aware」ワークフローは、まずコード、タイトル、要約から変更の意図を推論し、その後、特定されたリスクに対するテストを記述する。
その後、複数のLLMが審査役を務め、各失敗テストをそのコード、エラートレース、diff、推論された意図に基づいて採点する。論文で言及されているモデルは、Llama3.3-70B、Gemini 3 Pro、Claude Sonnet 4である。その後、RubFakeと名付けられた決定論的ルールフィルターが、リフレクション、失敗したモックオブジェクト、 »not implemented »例外などのパターンを検出する。最後に、システムは結合されたランキングに基づいて、エンジニアに通知するかどうかを決定する。
研究から本番環境での成果へ
分析は22,126件の生成されたテストを対象としている。diffを考慮した手法は、強化テストの4倍、偶然に失敗するテストの20倍の候補捕捉を生成した。intent-awareワークフローは、そのテストの6.4%(811件中52件)、diffの7.9%で、 »weak catches »(確認済みバグではなく、候補となる失敗)を生成した。これらの数値は研究論文の表に記載されており、Metaによる自己申告である。
初期の展開はより控えめだった:41件の候補捕捉がエンジニアに報告され、そのうち8件が確認された真陽性(19.5%)であった。そのうち4件は、本番環境で重大な障害を引き起こしていた可能性がある。2026年10月に公開されたエンジニアリングブログ記事で、Metaは589人のエンジニアがJiTTestsと関わった(通知されたエンジニアの64%)と報告し、それらのエンジニアは真陽性率60%を報告している。同期間中、プライバシー関連インシデントの全体的な発生率は20%減少した。
内部ツール
このモデルでは、エンジニアは基準を設定し、個々のテストを精査することなく、結果を全体的に監視する。チームによれば、エンジニアがテストコードを読むことは稀で、観察された動作の変化が意図されたものかどうかの確認のみを行う。Metaはコード、モデル、APIを公開しておらず、JiTTestsは内部ツールとして残されている。
