The AI / news

Diffusers принимает FLUX. 3 Image Klein в свою библиотеку с открытым исходным кодом

Diffusers принимает FLUX. 3 Image Klein в свою библиотеку с открытым исходным кодом
3 мин чтения

Black Forest Labs представила FLUX.3 Image Klein — модель, которая одновременно обрабатывает генерацию изображений по тексту и редактирование изображений на основе одной или нескольких референсных картинок. Она добавляет новую функцию — контроль компоновки, позволяющую указать, где должен находиться каждый элемент изображения. Доступны две открытые контрольные точки, и модель работает в библиотеке Diffusers с момента запуска.

Чтобы задать эту компоновку, пользователь пишет в своем промпте список регионов в формате JSON после описания изображения. Каждый регион имеет идентификатор, ограничивающую рамку (bbox) и описание. Координаты записываются в виде [y_min, x_min, y_max, x_max], причем y указывается первым, по шкале от 0 до 1000. Эта нормализованная шкала позволяет использовать одну и ту же рамку независимо от размера изображения.

Дистиллированная контрольная точка генерирует изображение размером 1024 × 1024 пикселя за 16 шагов по умолчанию. Согласно опубликованным измерениям, генерация из текста в изображение занимает 1,93 секунды на одном GPU NVIDIA H100 80 ГБ с пиковым потреблением памяти 23,8 ГиБ. Референсное изображение того же размера почти удваивает время вычислений — до 3,87 секунд. Для машин с меньшим объемом памяти варианты в формате единого файла, fp8r и nvfp4 снижают требования. Пиковое потребление памяти после вывода достигает 15,3 ГиБ для nvfp4 на RTX6000, против 16,27 ГиБ для fp8r и 20,72 ГиБ для bf16 на H100.

Двухэтапная архитектура

Модель оперирует тремя типами токенов: текст, зашумленное изображение в процессе генерации и, возможно, референсные изображения. Текстовый энкодер — это Qwen3-VL, модель «визуальный язык». FLUX.3 использует не только последний слой этой модели: он считывает скрытые состояния из восьми из его 36 слоев и объединяет их, что дает каждому текстовому токену вектор размерностью 20 480, который затем проецируется на ширину 3072.

Трансформер обрабатывает эти токены в два этапа. Первый этап состоит из 5 блоков с собственными весами для каждого потока, которые не взаимодействуют друг с другом. Второй объединяет потоки в единую последовательность «текст | изображение | референс» и пропускает ее через 28 блоков с общими весами. На этой второй фазе изображение может использовать информацию из текста и референсов. Токены текста и референсов затем отбрасываются, и только токены изображения проходят через выходные слои.

Еще одна особенность касается расписания шума. В FLUX.1 и FLUX.2 одно временное вложение модулировало все токены. В FLUX.3 модуляция зависит от типа токена: токены изображения получают текущий временной шаг, а токены текста и референсов всегда получают нулевой шаг, означающий «чистый, нечего очищать от шума».

Обучение LoRA

Базовая модель работает за 50 шагов с классификатор-фри гидом, и именно ее команда рекомендует для тонкой настройки. Diffusers предоставляет скрипты для обучения LoRA — небольших адаптеров, которые присоединяются к модели, как для генерации изображений из текста, так и для редактирования изображений. В источнике также упоминается AI Toolkit от Ostris как другой возможный инструмент. Пример, представленный в статье, обучает стиль карт Таро на основе общедоступного набора данных за 1500 шагов обучения и рангом 16. Полученные адаптеры доступны на Hub под именем diffusers-modular/flux3-tarot-lora.

Чтобы писать хорошие промпты, Black Forest Labs публикует официальное руководство по промптингу. В статье уточняется, что FLUX.3 лучше реагирует на полное описание сцены, включающее субъект, окружение, освещение, композицию и стиль.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x