TouchDesigner + StreamDiffusion
hr.icon
https://gyazo.com/bb1c9a4b0b9e27d06d906dfdee521524
hr.icon
1. StreamDiffusion by Scott Mann (DotSimulate)
https://www.youtube.com/watch?v=LCar8AIcRto
https://www.youtube.com/watch?v=lnM8SGOqxEY
hr.icon
2. StreamDiffusionとは
参考）
hr.icon
3. インストール
※Windows環境での下準備はCUDAやTensorRT含めて1時間程度はかかる
Mac環境 テスト環境：Mac Book Air M1, M3
StreamDiffusionTD_0.2.99.toxをTouchDesignerにドラックアンドドロップ
TouchDesingerは一定バージョン以上が必要 2023.12480で動作確認済
StreamDiffusionTD ContainerのInstallタブのView Installation Guideを開く
ターミナルからHomebrewのインストール
HomebrewでPython 3.11のインストール brew install python@3.11
→ Python 3.10にする
gitがない場合は、Homebrewでgitのインストール brew install git
ローカルにBase Folderを作成
フォルダ名：StreamDiffusionCENTRAL
StreamDiffusionTD ContainerのInstallタブ
1. Download StreamDiffusionのPulse
2. Install ［ venv +all req ］のPulse
時間がかかるので待つ
Press Any Keyが出たらENTER
macはここまで
StreamDiffusionTD ContainerのSettings 1タブ
My Models: sd turbo
Acceleration: tensorrt
上記に切り替える。切り替えるときはタイムラインを停止したほうがよい
Sart Stream Pulseをクリックする
ターミナルが自動起動するので、少し待つ
必要なデータがダウンロードされる
StatusがServer Connected, Not Streamingになる
Status ***fpsになれば動作状態
背景除去にはXplit Vcam無料版を利用
背景画像は黒画像（Photoshop等で作成）を設定
TouchDesingerを保存して再起動
Xplit Vcamの読み込みのため
Video Device In TOP
必要に応じてCommon Outの解像度を下げる
Xplit Vcamをカメラとして読み込む
Sart Stream Pulseをクリックする
Promptサンプル
プロンプトを変えるときはタイムラインを停止する
pop art dali-style masterpiece brilliant color fish birds octopus
michael jackson 4k photoreal
https://gyazo.com/935b14283cf61fac981c5f49393cc35c
hr.icon
メモ
StreamDiffusionCENTRALは移動しても、タイムラインを停止して、場所を再指定すれば使えた
Python 3.10を後からインストールしてもそのまま動作した
インストール時に3.11でなければならないのか？不明
Pytorchのバージョンと合わせる必要あるらしい
参考）
上記でも3.10 or higherと書いてあり大丈夫そう
ただ3.12ではダメっぽい
公式回答で3.10でよいみたい
We have tried working with python 3.11.
We developed on python 3.10 and it is stable with 3.10.
We recommend running with version 3.10.
3.11をインストールした理由
TouchDesignerのStreamDiffusionTDのマニュアルに3.11の記述。ただし、3.10で動かないとは書いていない。Windowsでインストールする際に3.10で試してみる
TensorRTを有効にするとフレームレートが倍ぐらい
TensorRTを動かすには、NVIDIAのGPUが必須
CUDAに依存しているため、NVIDIA製以外のGPUでは一切動作しない
hr.icon
古い方法（.zshrc でエイリアス指定）
以下でもできるが、pythonバージョンを切り替えて使う場合は面倒。
あまり.zshrc等の修正はあとあと他の問題が起こったときに原因がわからなくなるのでおすすめしない
Pythonの確認
バージョンの確認
python3 --version
3.11ではない（OS標準）
インストール場所の確認
which python3
/usr/bin/python3
Homebrewでインストールしたpython3.11の確認
brew list python@3.11
複数リストアップされる
/opt/homebrew/Cellar/python@3.11.............が保存先
参考）ls /opt/homebrew/Cellar/python@3.11とするとバージョン詳細が確認できる
3.11.14
つまり、上記の場所にある
.zshrc でエイリアスを設定
nano ~/.zshrc
末尾に追加
alias python3="/opt/homebrew/Cellar/python@3.11/3.11.14/bin/python3.11"
alias pip3="/opt/homebrew/Cellar/python@3.11/3.11.14/bin/pip3.11"
保存して閉じたら（CONTROL+X, Y, ENTER）
source ~/.zshrc
hash -r
確認
which python3
python3: aliased to /opt/homebrew/Cellar/python@3.11/3.11.14/bin/python3.11
python3 --version
Python 3.11.14
Base Folderを作成
フォルダ名：StreamDiffusionCENTRAL
StreamDiffusionTD ContainerのInstallタブ
1. Download StreamDiffusionのPulse
2. Install ［ venv +all req ］のPulse
時間がかかるので待つ
Press Any Keyが出たらENTER
macはここまで
StreamDiffusionTD ContainerのSettings 1タブ
My Models: sd turbo
Acceleration: tensorrt
上記に切り替える。切り替えるときはタイムラインを停止したほうがよい
Sart Stream Pulseをクリックする
ターミナルが自動起動するので、少し待つ
必要なデータがダウンロードされる
StatusがServer Connected, Not Streamingになる
Status ***fpsになれば動作状態