Black Forest Labs zaprezentował FLUX.3 Image Klein, model obsługujący zarówno generowanie obrazów z tekstu, jak i edycję obrazów na podstawie jednego lub wielu obrazów referencyjnych. Dodaje nową funkcję kontroli układu, która pozwala wskazać, gdzie ma znajdować się każdy element obrazu. Dostępne są dwa otwarte punkty kontrolne, a model działa w bibliotece Diffusers od momentu premiery.
Aby zdefiniować ten układ, użytkownik wpisuje w swoim promptcie listę regionów w formacie JSON, po opisie obrazu. Każdy region ma identyfikator, ramkę ograniczającą (bbox) i opis. Współrzędne zapisuje się jako [y_min, x_min, y_max, x_max], z y na pierwszym miejscu, w skali od 0 do 1000. Ta znormalizowana skala pozwala używać tej samej ramki niezależnie od rozmiaru obrazu.
Dystylowany punkt kontrolny generuje domyślnie obraz 1024 × 1024 pikseli w 16 krokach. Według opublikowanych pomiarów, generowanie z tekstu na obraz zajmuje 1,93 sekundy na pojedynczym GPU NVIDIA H100 80 GB, ze szczytowym zużyciem pamięci 23,8 GiB. Obraz referencyjny o tym samym rozmiarze niemal podwaja czas obliczeń, do 3,87 sekundy. Dla maszyn z mniejszą ilością pamięci, warianty w formacie pojedynczego pliku, w fp8r i nvfp4, zmniejszają wymagania. Szczytowe zużycie pamięci po inferencji osiąga 15,3 GiB dla nvfp4 na RTX6000, wobec 16,27 GiB dla fp8r i 20,72 GiB dla bf16 na H100.
Architektura dwuetapowa
Model operuje trzema typami tokenów: tekstem, generowanym zaszumionym obrazem oraz opcjonalnie obrazami referencyjnymi. Enkoder tekstu to Qwen3-VL, model wizyjno-językowy. FLUX.3 nie wykorzystuje tylko ostatniej warstwy tego modelu: odczytuje stany ukryte z ośmiu z jego 36 warstw i je składa, co daje każdemu tokenowi tekstowemu wektor o 20 480 wymiarach, następnie rzutowany na szerokość 3072.
Transformer przetwarza te tokeny w dwóch etapach. Pierwszy etap liczy 5 bloków, z wagami specyficznymi dla każdego strumienia, które nie widzą się nawzajem. Drugi łączy strumienie w jedną sekwencję, „tekst | obraz | referencja », i przepuszcza ją przez 28 bloków ze współdzielonymi wagami. W tej drugiej fazie obraz może korzystać z tekstu i referencji. Tokeny tekstu i referencji są następnie odrzucane, a tylko tokeny obrazu przechodzą przez warstwy wyjściowe.
Kolejną specyfiką jest harmonogram szumu. W FLUX.1 i FLUX.2 pojedyncze osadzenie kroku czasowego moduluje wszystkie tokeny. W FLUX.3 modulacja zależy od typu tokenu: tokeny obrazu otrzymują aktualny krok czasowy, podczas gdy tokeny tekstu i referencji zawsze otrzymują krok zero, oznaczający „czysty, nic do odszumienia ».
Trenowanie LoRA
Model bazowy działa w 50 krokach z prowadzeniem bez klasyfikatora i to jego zespół zaleca do dostrajania. Diffusers dostarcza skrypty do trenowania LoRA, tych małych adapterów dołączanych do modelu, zarówno dla generowania z tekstu na obraz, jak i edycji obrazów. Źródło wymienia również AI Toolkit od Ostris jako inne możliwe narzędzie. Przykład przedstawiony w artykule trenuje styl kart tarota na podstawie publicznie dostępnego zestawu danych, z 1500 krokami treningu i rangą 16. Wyprodukowane adaptery są dostępne w Hubie pod nazwą diffusers-modular/flux3-tarot-lora.
Aby pisać dobre prompty, Black Forest Labs publikuje oficjalny przewodnik promptowania. Artykuł precyzuje, że FLUX.3 lepiej reaguje na pełny opis sceny, z tematem, tłem, światłem, kompozycją i stylem.
