30 lipca 2026 roku Transformers włączył dla T5 skalowane iloczynem skalarnym (SDPA) mechanizmy uwagi PyTorcha. Ten efekt uboczny pozwolił dekoderowi UMT5 zaglądać do przyszłych tokenów, czyli odpowiedzi, którą miał przewidzieć, podczas treningu. Nic się nie zawiesiło, a błąd pozostał w gałęzi głównej przez prawie dwa miesiące. Hugging Face przedstawia Model Integration Contracts (MIC), format testów oparty na małych modelach, który pozwolił go wykryć podczas powtórnego odtwarzania commitów.
Transformers obsługuje ponad 750 typów modeli, a jego zestaw testów jest ogromny: ponad 88 000 testów CPU w gałęzi głównej i ponad 200 000 testów GPU w codziennym uruchomieniu. Testy integracyjne ładują prawdziwe punkty kontrolne (checkpointy) i korzystają z API modeli na rzeczywistym sprzęcie. Uruchamianie ich przy każdej zmianie zmonopolizowałoby dużą liczbę GPU przez cały dzień, co nie jest realistyczne. Regresja może więc trafić do gałęzi głównej, zanim zostanie wykryta przez zaplanowane wykonanie.
Redukcja modelu zamiast testowania dużego
Podejście polega na stworzeniu fixture’u, czyli małego modelu zbudowanego na podstawie konfiguracji prawdziwego punktu kontrolnego, z mniejszą liczbą warstw, węższych, ale wszystkich typów obecnych w oryginalnym modelu. Jego pliki tokenizera i procesora pozostają niezmienione. Ten fixture jest publikowany raz, a następnie ponownie wykorzystywany, a szybkie testy są na nim wykonywane na zwykłym procesorze CPU. W badaniu CPU zespołu eksperymentalny fixture UMT5 ważył 66 MB, w porównaniu do 1227 MB dla źródłowego punktu kontrolnego. Ta metoda ma zastosowanie również do bardzo dużych modeli, z których niektóre nie mieszczą się na standardowych GPU, ale ich fixture działa na CPU.
Testy wykraczają poza proste ładowanie i przebieg inferencji. Błąd UMT5 przeszedłby ten przebieg bez trudności. Fixture’y nie zastępują pełnych testów integracyjnych, ale dają szansę na wykrycie błędów przed ich trafieniem do gałęzi głównej.
MIC składa się z trzech elementów: fixture’u, ścieżki użycia (wykonywalnego przykładu, jak generowanie tekstu lub krok treningowy) oraz baseline’ów, czyli zapisanych wyników wykonania tego przykładu i zatwierdzonych przez człowieka. Kontrakt jest przestrzegany, jeśli wykonanie na fixture’u zawsze daje te referencyjne wyniki.
Powrót do błędu UMT5
Zespół ponownie odtworzył zamrożone MIC dla pięciu miesięcy commitów Transformers. Fixture UMT5 zgłosił regresję od jej wprowadzenia 30 lipca 2026 roku do jej poprawki 28 września. Logarytmiczne prawdopodobieństwa etykiet różniły się od zatwierdzonego baseline’u o 1,22, a strata treningowa o około 0,20. Ważny był szczegół: kontrakt używał SDPA, domyślnej ścieżki uwagi. Uruchomienie samej wariantu uwagi « eager » nie ujawniało błędu. Podczas demonstracji na gałęzi testowej CI Transformers, po cofnięciu poprawki, weryfikacja nie powiodła się z tymi samymi odchyleniami, a etap runnera T5 zajął 13,4 sekundy na CPU, bez instalacji.
Generowanie kontraktów za pomocą agentów
Narzędzie wiersza poleceń, tmic, tworzy kontrakt i buduje fixture. Dla nowego modelu LLM pisze kod użycia i manifest, a następnie wykonania CPU i GPU mierzą kandydackie baseline’y. Według zespołu LLM pisze, ale nie zatwierdza: każda zmiana oczekiwań wymaga walidacji człowieka. Raport redukcji modelu Llama 4 Scout ilustruje tę metodę: 108,6 miliarda parametrów staje się 44,7 milionami, część wizyjna przechodzi z 34 do 2 warstw, a część językowa z 48 do 4.
Dla modeli testowych zespół porównał losowe wagi z wagami wytrenowanymi na kilku przykładach. W badaniu inicjalizacji wag losowe fixture’y Whisper wykryły 18 wstrzykniętych błędów na 24, w porównaniu do 24 na 24 dla wytrenowanych fixture’ów. Te błędy były syntetyczne, a obie wersje przeoczyły błąd wspomaganego dekodowania ujawniony przez prawdziwy punkt kontrolny Whisper.
Od 1 listopada 2026 roku zadanie MIC w CI Transformers zgłasza niepowodzenia bez blokowania żądań zmian. Kwestia uczynienia go blokującym pozostaje otwarta, z powodu braku pomiarów dotyczących liczby wykrytych prawdziwych błędów i fałszywych alarmów.
