Diffusers verwelkomt FLUX. 3 Image Klein in zijn open source bibliotheek

Diffusers verwelkomt FLUX. 3 Image Klein in zijn open source bibliotheek
3 min lezen

Black Forest Labs heeft FLUX.3 Image Klein gepresenteerd, een model dat zowel tekst-naar-beeldgeneratie als beeldbewerking vanuit een of meer referentiebeelden aankan. Het voegt een nieuwe functie toe, lay-outcontrole, waarmee kan worden aangegeven waar elk element in de afbeelding moet staan. Twee open checkpoints zijn beschikbaar, en het model werkt vanaf de lancering in de Diffusers-bibliotheek.

Om deze lay-out te definiëren, schrijft de gebruiker in zijn prompt een lijst van regio’s in JSON-formaat, na de beschrijving van de afbeelding. Elke regio heeft een identificatie, een begrenzingsvak (bbox) en een beschrijving. De coördinaten worden geschreven als [y_min, x_min, y_max, x_max], met y eerst, op een schaal van 0 tot 1000. Deze genormaliseerde schaal maakt het mogelijk dezelfde bbox te gebruiken ongeacht de grootte van de afbeelding.

Het gedistilleerde checkpoint genereert standaard een afbeelding van 1024 × 1024 pixels in 16 stappen. Volgens gepubliceerde metingen duurt tekst-naar-beeldgeneratie 1,93 seconde op een enkele NVIDIA H100 80 GB GPU, met een geheugenpiek van 23,8 GiB. Een referentiebeeld van dezelfde grootte verdubbelt de rekentijd bijna, tot 3,87 seconden. Voor machines met minder geheugen verminderen de varianten in enkelvoudig bestandsformaat, fp8r en nvfp4, de vereisten. De geheugenpiek na inferentie bereikt 15,3 GiB voor nvfp4 op een RTX6000, tegenover 16,27 GiB voor fp8r en 20,72 GiB voor bf16 op H100.

Een architectuur in twee fasen

Het model werkt met drie soorten tokens: de tekst, de ruisige afbeelding in aanmaak en eventueel de referentiebeelden. De tekstencoder is Qwen3-VL, een vision-language model. FLUX.3 behoudt niet alleen de laatste laag van dit model: het leest de verborgen toestanden van acht van zijn 36 lagen en stapelt ze op, wat elke teksttoken een vector van 20.480 dimensies geeft, vervolgens geprojecteerd op een breedte van 3072.

De transformer verwerkt deze tokens in twee stappen. De eerste fase telt 5 blokken, met gewichten specifiek voor elke stroom, die elkaar niet zien. De tweede fase verenigt de stromen in een enkele reeks, « tekst | beeld | referentie », en laat deze door 28 blokken met gedeelde gewichten gaan. In deze tweede fase kan het beeld profiteren van de tekst en referenties. De tekst- en referentietokens worden vervolgens verwijderd, en alleen de beeldtokens gaan door de uitvoerlagen.

Een andere eigenaardigheid betreft het ruisschema. In FLUX.1 en FLUX.2 moduleert één tijdstap-embedding alle tokens. In FLUX.3 hangt de modulatie af van het tokentype: beeldtokens krijgen de huidige tijdstap, terwijl tekst- en referentietokens altijd tijdstap nul krijgen, wat « schoon, niets te denoisen » betekent.

LoRA’s trainen

Het basismodel werkt in 50 stappen met classifier-free guidance, en dat is het model dat het team aanbeveelt voor fine-tuning. Diffusers levert trainingsscripts voor LoRA’s, die kleine adapters zijn die op een model worden aangesloten, voor zowel tekst-naar-beeldgeneratie als beeldbewerking. De bron noemt ook de AI Toolkit van Ostris als een ander mogelijk gereedschap. Een voorbeeld in het artikel traint een tarotkaartenstijl vanuit een publiek domein dataset, met 1500 trainingsstappen en een rang van 16. De geproduceerde adapters zijn beschikbaar op de Hub, onder de naam diffusers-modular/flux3-tarot-lora.

Om goede prompts te schrijven, publiceert Black Forest Labs een officiële promptinggids. Het artikel preciseert dat FLUX.3 beter reageert op een volledige beschrijving van de scène, met het onderwerp, decor, licht, compositie en stijl.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x