Black Forest Labs hat FLUX.3 Image Klein vorgestellt, ein Modell, das sowohl die Bildgenerierung aus Text als auch die Bildbearbeitung aus einer oder mehreren Referenzbildern beherrscht. Es fügt eine neue Funktion hinzu, die Layoutsteuerung, die angibt, wo sich jedes Element im Bild befinden soll. Zwei offene Checkpoints sind verfügbar, und das Modell funktioniert ab seinem Start in der Diffusers-Bibliothek.
Um dieses Layout zu definieren, schreibt der Nutzer in seinem Prompt eine Liste von Regionen im JSON-Format nach der Bildbeschreibung. Jede Region hat eine ID, einen Begrenzungsrahmen (bbox) und eine Beschreibung. Die Koordinaten werden als [y_min, x_min, y_max, x_max] geschrieben, wobei y zuerst kommt, auf einer Skala von 0 bis 1000. Diese normalisierte Skala ermöglicht die Verwendung desselben Rahmens unabhängig von der Bildgröße.
Der destillierte Checkpoint generiert standardmäßig ein 1024 × 1024 Pixel großes Bild in 16 Schritten. Laut veröffentlichten Messungen dauert die Text-zu-Bild-Generierung 1,93 Sekunden auf einer einzelnen NVIDIA H100 80 GB GPU, mit einem Speicherpeak von 23,8 GiB. Ein Referenzbild gleicher Größe verdoppelt die Rechenzeit nahezu auf 3,87 Sekunden. Für Systeme mit weniger Speicher reduzieren die Varianten im Einzeldateiformat, fp8r und nvfp4, den Bedarf. Der Speicherpeak nach der Inferenz erreicht 15,3 GiB für nvfp4 auf einer RTX6000, gegenüber 16,27 GiB für fp8r und 20,72 GiB für bf16 auf H100.
Eine zweistufige Architektur
Das Modell verarbeitet drei Arten von Tokens: Text, das verrauschte Bild während der Generierung und optional Referenzbilder. Der Text-Encoder ist Qwen3-VL, ein Vision-Language-Modell. FLUX.3 behält nicht nur die letzte Schicht dieses Modells bei: Es liest die verborgenen Zustände aus acht seiner 36 Schichten und stapelt sie, was jedem Text-Token einen Vektor mit 20.480 Dimensionen gibt, der dann auf eine Breite von 3072 projiziert wird.
Der Transformer verarbeitet diese Token in zwei Phasen. Die erste Stufe umfasst 5 Blöcke mit eigenen Gewichten für jeden Stream, die sich nicht gegenseitig sehen. Die zweite vereint die Streams in einer einzigen Sequenz, « Text | Bild | Referenz », und führt sie durch 28 Blöcke mit geteilten Gewichten. In dieser zweiten Phase kann das Bild von Text und Referenzen profitieren. Die Text- und Referenz-Token werden dann verworfen, und nur die Bild-Token durchlaufen die Ausgabeschichten.
Eine weitere Besonderheit betrifft den Rauschzeitplan. In FLUX.1 und FLUX.2 moduliert eine einzige Zeitschritt-Einbettung alle Token. In FLUX.3 hängt die Modulation vom Tokentyp ab: Bild-Token erhalten den aktuellen Zeitschritt, während Text- und Referenz-Token immer den Schritt Null erhalten, was « sauber, nichts zu entrauschen » bedeutet.
LoRAs trainieren
Das Basismodell arbeitet in 50 Schritten mit Classifier-Free Guidance, und dieses empfiehlt das Team für das Fine-Tuning. Diffusers stellt Trainingsskripte für LoRAs bereit, diese kleinen Adapter, die an ein Modell angehängt werden, sowohl für Text-zu-Bild-Generierung als auch für Bildbearbeitung. Die Quelle nennt auch Ostris’ AI Toolkit als ein weiteres mögliches Werkzeug. Ein im Artikel gezeigtes Beispiel trainiert einen Tarotkarten-Stil aus einem öffentlich zugänglichen Datensatz mit 1500 Trainingsschritten und einem Rang von 16. Die erzeugten Adapter sind auf dem Hub unter dem Namen diffusers-modular/flux3-tarot-lora verfügbar.
Um gute Prompts zu schreiben, veröffentlicht Black Forest Labs einen offiziellen Prompting-Leitfaden. Der Artikel stellt klar, dass FLUX.3 besser auf eine vollständige Beschreibung der Szene reagiert, mit Subjekt, Umgebung, Licht, Komposition und Stil.
