Diffusers acolhe FLUX. 3 Image Klein na sua biblioteca de código aberto

Diffusers acolhe FLUX. 3 Image Klein na sua biblioteca de código aberto
3 min de leitura

A Black Forest Labs apresentou o FLUX.3 Image Klein, um modelo que gere tanto a geração de imagens a partir de texto como a edição de imagens a partir de uma ou mais imagens de referência. Adiciona uma nova funcionalidade, o controlo de layout, que permite indicar onde deve estar localizado cada elemento da imagem. Estão disponíveis dois pontos de controlo abertos, e o modelo funciona na biblioteca Diffusers desde o seu lançamento.

Para definir este layout, o utilizador escreve no seu prompt uma lista de regiões no formato JSON, após a descrição da imagem. Cada região possui um identificador, uma caixa delimitadora (bbox) e uma descrição. As coordenadas escrevem-se na forma [y_min, x_min, y_max, x_max], com y em primeiro, numa escala de 0 a 1000. Esta escala normalizada permite utilizar a mesma caixa independentemente do tamanho da imagem.

O ponto de controlo destilado gera uma imagem de 1024 × 1024 pixels em 16 passos por defeito. De acordo com as medições publicadas, a geração de texto para imagem demora 1,93 segundos numa única GPU NVIDIA H100 80 GB, com um pico de memória de 23,8 GiB. Uma imagem de referência do mesmo tamanho quase duplica o tempo de cálculo, para 3,87 segundos. Para máquinas com menos memória, as variantes em formato de ficheiro único, em fp8r e em nvfp4, reduzem as necessidades. O pico de memória após inferência atinge 15,3 GiB para nvfp4 numa RTX6000, contra 16,27 GiB para fp8r e 20,72 GiB para bf16 na H100.

Uma arquitetura em duas fases

O modelo manipula três tipos de tokens: o texto, a imagem ruidosa em processo de geração e, eventualmente, as imagens de referência. O codificador de texto é o Qwen3-VL, um modelo de visão e linguagem. O FLUX.3 não retém apenas a última camada deste modelo: lê os estados ocultos de oito das suas 36 camadas e empilha-os, o que dá a cada token de texto um vetor de 20 480 dimensões, projetado depois para uma largura de 3072.

O transformador processa estes tokens em duas fases. A primeira fase conta com 5 blocos, com pesos próprios para cada fluxo, que não se veem entre si. A segunda reúne os fluxos numa única sequência, « texto | imagem | referência », e faz-na passar por 28 blocos com pesos partilhados. Nesta segunda fase, a imagem pode tirar partido do texto e das referências. Os tokens de texto e de referência são depois descartados, e apenas os tokens de imagem passam pelas camadas de saída.

Outra particularidade diz respeito ao calendário de ruído. No FLUX.1 e FLUX.2, uma única incorporação de passo de tempo modula todos os tokens. No FLUX.3, a modulação depende do tipo de token: os tokens de imagem recebem o passo de tempo atual, enquanto os tokens de texto e de referência recebem sempre o passo zero, que significa « limpo, nada para desruir ».

Treinar LoRAs

O modelo base funciona em 50 passos com uma orientação sem classificador, e é este que a equipa recomenda para afinação. O Diffusers fornece scripts de treino de LoRA, estes pequenos adaptadores que se ligam a um modelo, tanto para a geração de texto para imagem como para a edição de imagens. A fonte cita também o AI Toolkit da Ostris como outra ferramenta possível. Um exemplo apresentado no artigo treina um estilo de cartas de tarot a partir de um conjunto de dados de domínio público, com 1500 passos de treino e um rank de 16. Os adaptadores produzidos estão disponíveis no Hub, sob o nome diffusers-modular/flux3-tarot-lora.

Para escrever bons prompts, a Black Forest Labs publica um guia oficial de prompting. O artigo especifica que o FLUX.3 responde melhor a uma descrição completa da cena, com o sujeito, o cenário, a luz, a composição e o estilo.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x