FLUXを使って画像を生成してみよう！

この記事では、画像生成AIモデルのひとつである「FLUX」をローカル環境で動作させたときの作業録を記す。

FLUX（フラックス）とは

画像生成AIモデルの一種

生成の高速さ、プロンプトの反映度の高さ、オープンソースで利用可能といった特徴を持つ

開発元は、Stable Diffusionの開発者たちが設立した企業「Black Forest Labs」

FLUXを使った画像生成

FLUXはオープンソースとして公開されており、ローカル環境で動作可能

そのため、Pythonのdiffusersライブラリで使ってみる（diffusersライブラリの扱い方は省略）

code:python

import torch

from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", torch_dtype=torch.bfloat16)

pipe.enable_model_cpu_offload()

prompt = "A cat holding a sign that says hello world"

out = pipe(

prompt=prompt,

height=768,

width=1360,

num_inference_steps=4,

out.save("test1.png")

生成結果

https://scrapbox.io/files/68ea75438851916470b0680c.png

ローカルマシンでも正常に動作することを確認

生成時間はかなり短いが、初回実行時のモデルのロードに約1時間要する

注意点

今回使用した「FLUX.1-schnell」は、テキストエンコーダの都合で77トークン以上を処理できない。プロンプト長には気を付ける。

当然生成の度にその画像の質は変わるので、欲しい画像が出るまではガチャ

（補足）Stable Diffusionとの比較

追記予定

コメント

画像生成AIの進化についていくためにも、いろんなモデルを動かしてみるべき

civitaiには既にFLUX用のLoRAも公開されている

参考サイト

diffusers公式ドキュメント