Black Forest Labs a présenté FLUX.3 Image Klein, un modèle qui gère à la fois la génération d’images à partir d’un texte et la modification d’images à partir d’une ou plusieurs images de référence. Il ajoute une fonction nouvelle, le contrôle de la mise en page, qui permet d’indiquer où doit se trouver chaque élément de l’image. Deux points de contrôle ouverts sont disponibles, et le modèle fonctionne dans la bibliothèque Diffusers dès son lancement.
Pour définir cette mise en page, l’utilisateur écrit dans son prompt une liste de régions au format JSON, après la description de l’image. Chaque région possède un identifiant, une boîte englobante (bbox) et une description. Les coordonnées s’écrivent sous la forme [y_min, x_min, y_max, x_max], avec y en premier, sur une échelle de 0 à 1000. Cette échelle normalisée permet d’utiliser la même boîte quelle que soit la taille de l’image.
Le point de contrôle distillé génère une image de 1024 × 1024 pixels en 16 étapes par défaut. Selon les mesures publiées, la génération de texte vers image prend 1,93 seconde sur un seul GPU NVIDIA H100 80 Go, avec un pic de mémoire de 23,8 GiB. Une image de référence de même taille fait presque doubler le temps de calcul, à 3,87 secondes. Pour les machines moins dotées en mémoire, les variantes au format fichier unique, en fp8r et en nvfp4, réduisent les besoins. Le pic de mémoire après inférence atteint 15,3 GiB pour nvfp4 sur une RTX6000, contre 16,27 GiB pour fp8r et 20,72 GiB pour bf16 sur H100.
Une architecture à deux étapes
Le modèle manipule trois types de jetons : le texte, l’image bruitée en cours de génération et, éventuellement, les images de référence. L’encodeur de texte est Qwen3-VL, un modèle vision-langage. FLUX.3 ne retient pas seulement la dernière couche de ce modèle : il lit les états cachés de huit de ses 36 couches et les empile, ce qui donne à chaque jeton de texte un vecteur de 20 480 dimensions, projeté ensuite sur une largeur de 3072.
Le transformeur traite ces jetons en deux temps. La première étape compte 5 blocs, avec des poids propres à chaque flux, qui ne se voient pas entre eux. La seconde réunit les flux dans une seule séquence, « texte | image | référence », et la fait passer dans 28 blocs aux poids partagés. Dans cette seconde phase, l’image peut tirer parti du texte et des références. Les jetons de texte et de référence sont ensuite écartés, et seuls les jetons d’image passent par les couches de sortie.
Une autre particularité concerne le calendrier de bruit. Dans FLUX.1 et FLUX.2, un seul plongement de pas de temps module tous les jetons. Dans FLUX.3, la modulation dépend du type de jeton : les jetons d’image reçoivent le pas de temps courant, tandis que les jetons de texte et de référence reçoivent toujours le pas zéro, qui signifie « propre, rien à débruiter ».
Entraîner des LoRA
Le modèle de base fonctionne en 50 étapes avec un guidage sans classifieur, et c’est lui que l’équipe recommande pour l’affinage. Diffusers fournit des scripts d’entraînement de LoRA, ces petits adaptateurs qui se greffent sur un modèle, pour la génération de texte vers image comme pour la modification d’images. La source cite également l’AI Toolkit d’Ostris comme autre outil possible. Un exemple présenté dans l’article entraîne un style de cartes de tarot à partir d’un jeu de données du domaine public, avec 1500 étapes d’entraînement et un rang de 16. Les adaptateurs produits sont disponibles sur le Hub, sous le nom diffusers-modular/flux3-tarot-lora.
Pour écrire de bons prompts, Black Forest Labs publie un guide officiel de prompting. L’article précise que FLUX.3 répond mieux à une description complète de la scène, avec le sujet, le décor, la lumière, la composition et le style.
