DiffusersがFLUX. 3 Image Kleinをオープンソースライブラリに追加

DiffusersがFLUX. 3 Image Kleinをオープンソースライブラリに追加
1 分の読書

Black Forest Labsは、テキストからの画像生成と、1枚以上の参照画像からの画像編集の両方を扱うモデル「FLUX.3 Image Klein」を発表した。新機能としてレイアウト制御を追加し、画像内の各要素がどこに配置されるべきかを指示できる。2つのオープンなチェックポイントが利用可能で、モデルはリリース当初からDiffusersライブラリで動作する。

このレイアウトを定義するため、ユーザーは画像の説明の後に、JSON形式の領域リストをプロンプトに記述する。各領域には識別子、バウンディングボックス(bbox)、および説明が含まれる。座標は[y_min, x_min, y_max, x_max]の形式で記述され、yが先頭に来る。スケールは0から1000で正規化されており、画像サイズに関わらず同じバウンディングボックスを使用できる。

蒸留されたチェックポイントは、デフォルトで16ステップで1024×1024ピクセルの画像を生成する。公開された測定値によると、テキストから画像への生成は、単一のNVIDIA H100 80GB GPU上で1.93秒を要し、メモリピークは23.8 GiBであった。同じサイズの参照画像を使用すると、計算時間はほぼ2倍の3.87秒となる。メモリが少ないマシン向けに、単一ファイル形式のfp8rおよびnvfp4バリアントが用意されており、要件を低減する。推論後のメモリピークは、RTX6000上のnvfp4で15.3 GiB、H100上のfp8rで16.27 GiB、bf16で20.72 GiBに達する。

二段階アーキテクチャ

このモデルは、テキスト、生成中のノイズ画像、および(場合によっては)参照画像という3種類のトークンを扱う。テキストエンコーダーはビジョン言語モデルであるQwen3-VLを使用している。FLUX.3はこのモデルの最終層だけを使用するのではなく、36層のうち8層の隠れ状態を読み取り、それらを積み重ねる。これにより、各テキストトークンは20,480次元のベクトルとなり、その後3,072の幅に投影される。

トランスフォーマーはこれらのトークンを二段階で処理する。第一段階は5つのブロックからなり、各フロー専用の重みを持ち、相互には見えない。第二段階では、フローを単一のシーケンス「テキスト|画像|参照」に統合し、重みを共有する28のブロックを通過させる。この第二段階では、画像はテキストと参照の利点を活用できる。その後、テキストトークンと参照トークンは破棄され、画像トークンのみが出力層を通過する。

もう一つの特徴はノイズスケジュールに関する。FLUX.1とFLUX.2では、単一のタイムステップ埋め込みがすべてのトークンを調整していた。FLUX.3では、調整はトークンの種類に依存する。画像トークンは現在のタイムステップを受け取り、テキストトークンと参照トークンは常に「クリーン、ノイズ除去不要」を意味するゼロステップを受け取る。

LoRAのトレーニング

ベースモデルは50ステップで動作し、分類器なしガイダンスを使用する。このモデルがチーム推奨のファインチューニング用である。Diffusersは、テキストから画像への生成と画像編集の両方に対応した、モデルに接続する小型アダプターであるLoRAのトレーニングスクリプトを提供している。ソースでは、OstrisのAI Toolkitも別の可能なツールとして挙げている。記事で紹介された例では、パブリックドメインのデータセットからタロットカードのスタイルをトレーニングし、1500トレーニングステップとランク16を使用した。生成されたアダプターは、diffusers-modular/flux3-tarot-loraという名前でHubで公開されている。

優れたプロンプトを作成するために、Black Forest Labsは公式プロンプトガイドを公開している。記事では、FLUX.3は被写体、背景、照明、構図、スタイルを含むシーンの完全な説明により良く応答すると説明している。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x