StreamDiffusion - work4ai

StreamDiffusion

https://huggingface.co/papers/2312.12491StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation

https://github.com/cumulo-autumn/StreamDiffusioncumulo-autumn/StreamDiffusion

バッチ処理

Residual Classifier-Free Guidance (RCFG)

ステップ数の削減

stochastic similarity filter(SSF)

GPUの使用効率↑

Pre-Computation for KV-Caches

Model Acceleration Tools

https://youtu.be/CnVbZv-6lGE

あき先生 / Aki(@cumulo_autumn)

現在開発中のStreamDiffusion、今度は1秒で約150枚の画像生成が可能になりました！！

速すぎてレンダリングがもう人の目では分からない状態だったので、4画面同時表示にしてみました。(1画面あたり約37fps)

#StreamDiffusion

https://video.twimg.com/amplify_video/1732425428261113856/vid/avc1/1280x720/qpC5Cr8bzKZ9ms6q.mp4?tag=14#.mp4

あき先生 / Aki(@cumulo_autumn)

StreamDiffusion、ほぼ100fpsで画像生成出来るようになりました！！

sd-turbo, 512x512, batch size 1, txt2imgだと10msで1枚画像が生成出来ます！

多分これが一番速いと思います

https://video.twimg.com/amplify_video/1732308999104868352/vid/avc1/1280x720/MA4BfLHf9tAYrORV.mp4?tag=14#.mp4

100fps RTX 4090

@_akhaliq: StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation

paper page: https://huggingface.co/papers/2312.12491

introduce StreamDiffusion, a real-time diffusion pipeline designed for interactive image generation. Existing diffusion models are adept at creating images from…

https://pbs.twimg.com/media/GB18ncKWkAAik9M.jpg

あき先生 / Aki(@cumulo_autumn)

Please also check out my wonderful teammates🥰🥰🥰

@ArtengMimi きざみみ

@AttaQjp アララト

@Chenfeng_X Chenfeng_X

@ddPn08 だだっこぱんだ

@hanyingcl latextex

@IMG_5955 動詞

@__ramu0e__ らむね

@toni_nimono トニモノ

I am working on #StreamDiffusion with these smart guys!

画像生成の高速化