Black Forest Labs ha presentato FLUX.3 Image Klein, un modello che gestisce sia la generazione di immagini da testo sia la modifica di immagini da una o più immagini di riferimento. Aggiunge una nuova funzione, il controllo del layout, che permette di indicare dove deve trovarsi ogni elemento dell’immagine. Due checkpoint aperti sono disponibili, e il modello funziona nella libreria Diffusers fin dal suo lancio.
Per definire questo layout, l’utente scrive nel suo prompt una lista di regioni in formato JSON, dopo la descrizione dell’immagine. Ogni regione possiede un identificativo, una bounding box (bbox) e una descrizione. Le coordinate si scrivono nella forma [y_min, x_min, y_max, x_max], con y per prima, su una scala da 0 a 1000. Questa scala normalizzata permette di utilizzare la stessa box qualunque sia la dimensione dell’immagine.
Il checkpoint distillato genera un’immagine di 1024 × 1024 pixel in 16 passi di default. Secondo le misurazioni pubblicate, la generazione da testo a immagine richiede 1,93 secondi su una singola GPU NVIDIA H100 80 GB, con un picco di memoria di 23,8 GiB. Un’immagine di riferimento della stessa dimensione fa quasi raddoppiare il tempo di calcolo, a 3,87 secondi. Per le macchine meno dotate di memoria, le varianti in formato file singolo, in fp8r e in nvfp4, riducono le esigenze. Il picco di memoria dopo l’inferenza raggiunge 15,3 GiB per nvfp4 su una RTX6000, contro 16,27 GiB per fp8r e 20,72 GiB per bf16 su H100.
Un’architettura in due fasi
Il modello manipola tre tipi di token: il testo, l’immagine rumorosa in corso di generazione e, eventualmente, le immagini di riferimento. L’encoder di testo è Qwen3-VL, un modello visione-linguaggio. FLUX.3 non trattiene solo l’ultimo layer di questo modello: legge gli stati nascosti di otto dei suoi 36 layer e li impila, il che dà a ogni token di testo un vettore di 20.480 dimensioni, proiettato poi su una larghezza di 3072.
Il trasformatore processa questi token in due tempi. La prima fase conta 5 blocchi, con pesi propri a ogni flusso, che non si vedono tra loro. La seconda riunisce i flussi in una singola sequenza, «testo | immagine | riferimento», e la fa passare in 28 blocchi con pesi condivisi. In questa seconda fase, l’immagine può trarre vantaggio dal testo e dai riferimenti. I token di testo e di riferimento vengono poi scartati, e solo i token d’immagine passano attraverso i layer di output.
Un’altra particolarità riguarda la schedulazione del rumore. In FLUX.1 e FLUX.2, un singolo embedding del passo temporale modula tutti i token. In FLUX.3, la modulazione dipende dal tipo di token: i token d’immagine ricevono il passo temporale corrente, mentre i token di testo e di riferimento ricevono sempre il passo zero, che significa «pulito, nulla da denoisare».
Addestrare dei LoRA
Il modello base funziona in 50 passi con una guida senza classificatore, ed è lui che il team raccomanda per l’affinamento. Diffusers fornisce script di addestramento per LoRA, questi piccoli adattatori che si agganciano a un modello, per la generazione da testo a immagine come per la modifica di immagini. La fonte cita anche l’AI Toolkit di Ostris come altro strumento possibile. Un esempio presentato nell’articolo addestra uno stile di carte dei tarocchi a partire da un dataset di dominio pubblico, con 1500 passi di addestramento e un rango di 16. Gli adattatori prodotti sono disponibili sull’Hub, con il nome diffusers-modular/flux3-tarot-lora.
Per scrivere buoni prompt, Black Forest Labs pubblica una guida ufficiale al prompting. L’articolo precisa che FLUX.3 risponde meglio a una descrizione completa della scena, con il soggetto, lo sfondo, la luce, la composizione e lo stile.
