Heart Beat Session 下北沢 - 制作ノート
予定☈2024.05.02
LIVE HAUS / 下北沢, 東京
担当：VJ / システム構築 nagasena.icon
心拍センサーシステム
Touch Designerで管理
C++
心臓オブジェクト
収縮する、心臓
汽車の車輪の機構+傘の開く動き
ストロボ、回転する心臓
スピードが変わり、そのスピードによって見えてくる心拍の動き方が変化する
岩井俊雄、時間層シリーズ
https://gyazo.com/d09f14cbb6526b3bad36a7b689a15399
音楽ライブ Rin.icon
心拍センサーの値を、リアルタイムにライブのBPMに反映させる
これまでの＜心臓イベント＞では音楽面にはシステム的に直接干渉はしていなかったが、今回は初の試み
OSCで受け取った値をMIDI出力 → 機材にMIDI出力して、それでBPMをリアルタイムに変更させる
OSC to MIDI変換
→更新が古く、単純に実行環境を整えるのが面倒くさい
△ Pythonで簡易なOSC to MIDI変換アプリケーションを作る
Python慣れてないのでけっきょくめんどくさい
〇 TouchDesignerでMIDI OUTあるので、これでよい。簡単。
BPMを同期させるにはMIDIメッセージ(7bit, 0-127)というより、MIDI CLOCKを使う
仮想MIDIケーブル
Loop MIDI
MIDI CLOCK 送受信テスト用
MIDI-OX 7.0.2をダウンロード
Options > MIDI DevicesからInput / Outputを設定
MIDI CLOCK送受信にはView > MIDI Sync Transportを利用
Protokol
MIDIやOSCなどの受信確認用ソフトウェア
Touch DesignerだけからMIDI Clock(MTC)を送るのは難しそう？
TDからPythonをかまして送信できるか
mido, python-rtmidiライブラリを使えばMIDI Clockを送信できることがテストできた
動作確認バージョン : Python 3.10.9
Pythonでテスト
https://gyazo.com/b8f0920b4d01aa5819104900b2f7babc
送信（右）と受信（左）とで、ズレがでてしまっている…
特に、BPMが高くなればなるほどズレの数値が大きくなる
MIDIの送信速度の問題とかもあるのだろうか？
Ableton Liveと連携する
Instrument Rack
PlaytronのMIDI入力とInstrument Rackの入力がズレる
→Instrument Rackの前にArpeggiator（MIDIエフェクト）をいれてしまっていた
ライブドローイング 小沼亜未.icon
iPadを使ってリアルタイムでVJの映像に描くライブパフォーマンス
実装
iPad → キャプチャボード → PC
Lightning to HDMI + HDMI to USB (to PC)
TD : Video Device in でいける
技術的な参考
https://scrapbox.io/files/674d44c0187d8adceeed3750.mp4https://scrapbox.io/files/674d4593fcbe33a2bf4fd5e9.mp4
nagasena.icon撮影
https://gyazo.com/bf129f83a615b9dacdec6ac44abe260b
VRデバイスを使うという案
Quill (クイール、VRアニメーション制作ソフト)
VRデバイスを装着してパフォーマンスを行うというのは、若干のシュールさを否定しきれない
そのシュールな感じを活かしてやるというのもいい
シュール加減でいえばKraftwerkのRobotみたいな
https://youtu.be/BcJ1q0c1F4g?si=xlgZzQK0CJxXb6fM
音楽はバチバチにかっこよく、パフォーマンスがシュール
Live Drawingの案
ライブで、習字をするようにして、画面全体に「心臓文」を書く
現場で流す背景VJは、事前に仕込んでおく
ある種のループアニメーションを作っておく
心臓GIF例
https://gyazo.com/85528046b4eae0d659bd440a092fe455
↑もっとオドロオドロしくしてもいい