KSU_リアルタイム3DCG基礎

TouchDesginerは音声を取り込んだり、外部のセンサーから値を読み込んだりすることでリアルタイムに変数を取得し、その値を使って処理をすることできます。

音声を使った映像の変化などはいわゆるオーディオリアクティブと言われる処理で、VJやインスタレーションなどにも広く使われている技法です。

今回は様々な方法でTouchDesginerにデータを入力し、リアルタイムに変化を行うプログラムの作成を通じてリアルタイム処理についてを習得していきましょう。

オーディオリアクティブで一番練習になるのはVJ(ビデオ・ジョッキー)ではないかと思っています。

VJとはクラブやコンサートなどの音楽空間において、映像表現を担当し演出を行う行為です。

TouchDesginerでは簡単な操作でオーディオリアクティブを実施することができるため、VJソフトとして使用する方もたくさんいます。(自分もその一人です。)

プログラムを事前に組み込んで現場に持ち込んだり、即席で一から音楽に合わせてVJプレイをすることが可能です。

今回はVJをすることに挑戦しながらリアルタイム処理を体験しましょう。

▼オーディオリアクティブ参考

https://youtu.be/OqnWvvo9Jrw?si=1RFdILeP65LF42M-

https://youtu.be/-NE8aqPfjDA?si=Tko9-W5DsjJgcU5t&t=12284

オーディオリアクティブシステムと投影準備

オーディオリアクティブ（Audio Reactive）とは、音楽や環境音などの「音のデータ（周波数、音量、テンポなど）」に反応して、映像や照明、グラフィックなどをリアルタイムに変化させる表現手法や技術のことです。クラブや音楽ライブなどのVJ演出やプロジェクションマッピング、さらにはインタラクティブなインスタレーションまで、さまざまな分野で活用されています。

リアルタイムにデータを取得し、データを元にグラフィックなどを変化させることで空間そのものを演出させることができるのがリアルタイム処理の醍醐味です。

以下のチュートリアルを参考にオーディオリアクティブシステムを設定していきましょう。

※グラフィックは前回の提出してもらった課題でも、新規で作成してもOKです。

VJをするためのシステムの要件

Audio device inでリアルタイムに音声データを取得する。

Window compで全画面投影をする。

(操作UIを設定してリアルタイムにパラメーターを変更する。)

-オーディオリアクティブの方法(第一回目の授業での内容と同じ) 今回はPCのマイクを入力にしましょう。

https://youtu.be/0MzRnw5gF0Y

-投影画面の設定(window compを使用して全画面投影を行います。2:50あたりが全画面出力の設定方法です。)

▼全画面出力の window compのパラメーター設定

Display : 1 (画面複製の際に主ディスプレイ(PCのモニター)が0となるので、複製画面にした際に1が投影先になるようにします。)

Opening size : Fill

Borders : Off

https://youtu.be/QAFhp9ZMAEI

-操作UIの設計(リアルタイムでパラメーターの設定などができるようになります。)

https://youtu.be/DKQMGOQsGu0

-VJ実践

5限目までにオーディオリアクティブするシステムをTouchDesginerでつくり出力をしてみましょう。

１人3分程度の時間出力して交代しながら回していきます。

全員必ず一度はプレイできるように全員で協力していきましょう。

▼手順

0_全員プロジェクター前に移動しましょう。

1_HDMIでPCとプロジェクターを接続します。

2_画面設定を複製画面に設定します。　（今回は画面をミラーリングではなく、複製して複数画面で運用します。）

3_Window compからseparate windowを選択して全画面出力を行いVJを開始してください。

4_時間になったら次の人に交代してください。

(次の番の人はすぐに接続できるように前の人がスタートしたら準備をして待機しておいてください。)

▼オーディオビジュアルシステム

https://scrapbox.io/files/6a30185974d67ad5ae00c4d0.png

-提出課題-

授業で実践したVJプレイを自身の好きな曲でVJプレイをしてみましょう。

VJのシステムは新しく制作しても大丈夫です。

授業でつくったものを改造してもOKです。

VJをする際には必ずリアルタイムにオーディオリアクティブさせるシステムを設計してください。

VJプレイの様子を記録し、記録映像を自身のyoutubeアカウントで"限定公開"でアップロードしてリンクを提出してください。

記録映像には音源も同時収録してください。