DAIaryX

Flux.1でイラスト生成

しん

hero

Flux.1

Flux.1で画像生成してみました。
基本モデルでこのレベルのイラストができて驚きです。
img-to-imgで作ったのですが、構成も元写真に近くて素晴らしいです。

Fluxとは?

Stable diffusion元開発者が立ち上げたBlack Forest Labsという会社が公開しています。
Stable Diffusion3になってから権利周りでオープンではなくなったと感じていたのでありがたいです。

Web UI

Web UIはStable Diffusion WebUI forgeが使えます。

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge

上記Clone後にダウンロードしたFluxを配置します。

モデルダウンロード

オープンソースモデルはFLUX.1-schnellFLUX.1-devがあります。(proはAPIのみ)

FLUX.1-dev

開発者用でproに近い性能がありますが、AGPL-3.0 licenseライセンスとなっており、非商用利用となっています。
生成した画像を商用利用できるかは調査してみないとわかりません。

FLUX.1-schnell

呼び方はシュネルで、ドイツ語で速いという意味だそうです。その名の通り、高速に生成できます。
Apache 2.0ライセンスで商用利用も可能です。
自由度が高そうなので、こちらのモデルを使います。

FLUX.1-schnellから以下のファイルをダウンロードします。
ae.safetensors

flux1-schnell.safetensors

▼ [vae]

https://huggingface.co/black-forest-labs/FLUX.1-dev 
ae.safetensors (320MB)

▼ [clip]

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 
clip_l.safetensors (235MB)
t5xxl_fp16.safetensors (9.1GB)
t5xxl_fp8_e4m3fn.safetensors (4.6GB)

▼ [量子化モデル]

https://huggingface.co/silveroxides/flux1-nf4-weights/tree/main
flux1-schnell-bnb-nf4.safetensors

配置

上記から一つずつ選び、以下に配置します。

モデル

webui/models/Stable-diffusion/flux1-schnell-bnb-nf4.safetensors

VAE

webui/models/VAE/ae.safetensors

CLIP

webui/models/text_encoder/t5xxl_fp8_e4m3fn.safetensors

パッケージインストール

次の記事を参考にAIサーバーを構築します。


足りないものがあれば適宜インストールしていきます。

sudo apt install libjpeg-dev

webui-user.shから以下の行を探して環境にあったオプションを追記します。

export TORCH_COMMAND="pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu124"
export COMMANDLINE_ARGS="--autolaunch --xformers --listen --enable-insecure-extension-access"

実行

以下、コマンドを実行することで関連パッケージをダウンロードしてvenv環境で起動します。

./webui.sh

デフォルトではポート7860で起動しているので、IPアドレスを指定してブラウザから起動


http://localhost:7860

無事表示されました。

まとめ

画像生成サーバーを作ることができました。
待機時はVRAMをほとんど使っておらず、GPU Weightsを設定すれば余ったVRAMで生成できるので、他のモデルを起動しながらでも使えるのは便利です。
ローカルで画像を生成できる環境は便利なので、興味あれば試してみてください。

19

記事数

しん

Rails歴は10年以上で、バックエンド・フロントエンド・インフラ・ネットワーク全てやります。