Black Forest Labs ha presentado FLUX.3 Image Klein, un modelo que maneja tanto la generación de imágenes a partir de texto como la edición de imágenes a partir de una o varias imágenes de referencia. Añade una función nueva, el control de diseño, que permite indicar dónde debe ubicarse cada elemento de la imagen. Dos puntos de control abiertos están disponibles, y el modelo funciona en la biblioteca Diffusers desde su lanzamiento.
Para definir este diseño, el usuario escribe en su prompt una lista de regiones en formato JSON, después de la descripción de la imagen. Cada región posee un identificador, una caja delimitadora (bbox) y una descripción. Las coordenadas se escriben en la forma [y_min, x_min, y_max, x_max], con y primero, en una escala de 0 a 1000. Esta escala normalizada permite usar la misma caja independientemente del tamaño de la imagen.
El punto de control destilado genera una imagen de 1024 × 1024 píxeles en 16 pasos por defecto. Según las mediciones publicadas, la generación de texto a imagen toma 1,93 segundos en una sola GPU NVIDIA H100 de 80 GB, con un pico de memoria de 23,8 GiB. Una imagen de referencia del mismo tamaño casi duplica el tiempo de cálculo, a 3,87 segundos. Para máquinas con menos memoria, las variantes en formato de archivo único, en fp8r y en nvfp4, reducen los requisitos. El pico de memoria tras la inferencia alcanza 15,3 GiB para nvfp4 en una RTX6000, frente a 16,27 GiB para fp8r y 20,72 GiB para bf16 en H100.
Una arquitectura de dos etapas
El modelo manipula tres tipos de tokens: el texto, la imagen ruidosa en proceso de generación y, eventualmente, las imágenes de referencia. El codificador de texto es Qwen3-VL, un modelo visión-lenguaje. FLUX.3 no retiene solo la última capa de este modelo: lee los estados ocultos de ocho de sus 36 capas y los apila, lo que da a cada token de texto un vector de 20 480 dimensiones, proyectado luego a un ancho de 3072.
El transformador procesa estos tokens en dos tiempos. La primera etapa cuenta con 5 bloques, con pesos propios para cada flujo, que no se ven entre sí. La segunda reúne los flujos en una sola secuencia, «texto | imagen | referencia», y la hace pasar por 28 bloques con pesos compartidos. En esta segunda fase, la imagen puede aprovechar el texto y las referencias. Los tokens de texto y de referencia son luego descartados, y solo los tokens de imagen pasan por las capas de salida.
Otra particularidad concierne al calendario de ruido. En FLUX.1 y FLUX.2, una sola incrustación de paso de tiempo modula todos los tokens. En FLUX.3, la modulación depende del tipo de token: los tokens de imagen reciben el paso de tiempo actual, mientras que los tokens de texto y de referencia reciben siempre el paso cero, que significa «limpio, nada que desruidificar».
Entrenar LoRAs
El modelo base funciona en 50 pasos con una guía sin clasificador, y es él el que el equipo recomienda para el afinado. Diffusers proporciona scripts de entrenamiento de LoRA, esos pequeños adaptadores que se acoplan a un modelo, para la generación de texto a imagen como para la edición de imágenes. La fuente cita también el AI Toolkit de Ostris como otra herramienta posible. Un ejemplo presentado en el artículo entrena un estilo de cartas de tarot a partir de un conjunto de datos de dominio público, con 1500 pasos de entrenamiento y un rango de 16. Los adaptadores producidos están disponibles en el Hub, bajo el nombre diffusers-modular/flux3-tarot-lora.
Para escribir buenos prompts, Black Forest Labs publica una guía oficial de prompting. El artículo precisa que FLUX.3 responde mejor a una descripción completa de la escena, con el sujeto, el decorado, la luz, la composición y el estilo.
