終了）キネマトグラフィックス特論-2024
hr.icon
メモ
hr.icon
2024課題まとめ
課題① アートペーパーサーベイプレゼン 全員済
課題② TouchDesigner slit scan
課題③ TouchDesigner Optical flow and ParticlesGPU
課題④ deepmotion実験
課題⑤ OSC送受信を使ったデモ・アイデア発表
課題⑥ 2/3〆切 レポート400字以上（こんな技術の実験がしたい等）
今後の授業内容の刷新のために、こんな技術を習得したい、実験や作品制作がしたい等あれば
ポイント
使いたい技術（できるだけ詳しく教えてください）
それを使ったアイデア
hr.icon
スケジュール
※進捗により、内容を変更する場合がある
第１回 10/7（月） ガイダンス、TouchDesigner・Blenderのインストール、3Dスキャン概要、人体スキャン
第２回 10/14（月） アートペーパー事例紹介（視野を広げる）
第３回 10/21（月） 事例紹介続き、アートペーパーサーベイ、TouchDesigner①
第４回 10/28（月） TouchDesigner②
サーベイする論文候補５本（優先順）を提出 Forms（kibacoから）
第５回 11/11（月） アートペーパーサーベイプレゼン 課題① ※日程調整
第６回 11/18（月） アートペーパーサーベイプレゼン残り２名、TouchDesigner③
第７回 11/25（月） TouchDesigner④ 課題②
第８回 12/2（月） 休講
第９回 12/9（月） TouchDesigner⑤ 課題③
授業内容の変更の検討（残り６回）
テーマ：インタラクティブ入力によるメディア操作
済）Cycling'74 Max基礎と応用
OSC通信：TouchDesignerとOSCで通信
BVH通信の調査
実験成功）モーションキャプチャ：Perception Neuron→Blender→（OSC）→Max
人体動作による複数PCでの演奏システム
準備メモ）
PN3アドオン（Winのみ）とNodeOSCの同時利用はOK
参考）
第１０回 12/16（月） Max基礎 映像のスクラッチまで
第１１回 12/23（月） Max基礎の続き、ネットワーク基礎、MaxでUDP通信
第１２回 1/6（月）
deepmotion
PN3代替のオフライン実験の意味合い
次回以降かも）WiFiルータ実験：NAKA-TESTでMax UDP通信
次回以降）iPhone Touch OSC、Syphon、NDI
deepmotionのアカウント作成
次回以降に行う）Perception Neuronデモ
deepmotion（mixamo使い方含む）
撮影と処理
mixamoキャラクターでアニメーション作成
（不要かも）出力データをmp4に変換して提出
課題④
第１３回 1/20（月）
第１４回 1/27（月）
課題⑤ OSC送受信を使ったデモ・アイデア発表
15:30から発表
第１５回 2/3（月） 休講
課題⑥ レポートあり
hr.icon
元の予定
第１２回 1/6（月） Matterport空間スキャン実験
第１３回 1/20（月） 各自空間スキャン実験
第１４回 1/27（月） プレゼン準備
第１５回 2/3（月） 3Dスキャンを活かした企画プレゼン
hr.icon
hr.icon
以下は準備中のメモ、変更する場合あり
後半に2024やらなかったものまとめ（2023のメモも残して混ざっている）
アートペーパー （課題候補）
SIGGRAPH、Laval Virtual紹介、アートペーパーサーベイ
レポート執筆（600字以上）
◯/◯締切（kibaco経由）
※以降、TouchDesigner必要
デモ）DMX USB Pro、ディマー、白熱球、扇風機の制御実験
Touch Designer+2D（練習）
済）Feedback（練習）
Time Displacement
Slit Scan （課題候補）
TouchDesignerの録画方法
TouchDesignerの出力を映像データ化するためには以下の２つの方法がある。
方法① Movie File Out TOP
Out TOPをMovie File Out TOPに接続
Video Codec: MPEG 4 (Part2) ※NVIDIA GPUはMac不可
音声がある場合のみ）Audio CHOPへAudio File Inをドラック＆ドロップ
Fileから保存先とファイル名を指定
録画は手動でRecordをON/OFFする。
方法② File > Export
方法①Movie File Out TOPは、リアルタイムレンダリングのため処理が重い。コマ落ち場合は以下の方法がよい。
以下、手順。
File > Export
Input > TOP VideoにOut TOPをドラック＆ドロップして登録
Input > CHOP AudioにAudio File In CHOPをドラック＆ドロップして登録
Resolution: 1280 x 720
Movie FPS: 30fps
Codec: MPEG 4 (Part 2)
End Frame: xxx ※任意
Out > Filenameの右側にあるフォルダアイコンをクリック
Render MovieのStartをクリック
Audio Reactive
SOPの理解
インスタンス、SOPから座標の取り出し方
３画像を切替え表示を最後に扱った
Plateauの導入のみと以下も
（デモのみ）日野キャンパスのビジュアライゼーション
（中安）授業 > TD_HinoCampus_Visualizationフォルダの中
Blenderから調整する場合はOBJと同時にColor Attributesを書き出す必要がある
（デモのみ）人体スキャンデータによるビジュアライゼーション
（中安）授業 > TD_BodyScan_Visualizationフォルダの中
墨田区のデータ配布（中安変換済）
※Unity変換は扱わないのでUnity不要
deepmotionのアカウント作成のみ
Perception Neuronデモ
deepmotion（mixamo使い方含む）
撮影と処理
mixamoキャラクターでアニメーション作成
（不要かも）出力データをmp4に変換して提出
（課題候補）
deepmotion FBXをBlenderで読み込んだ際のテクスチャの修正方法（キャラクタによって異なる）
以下はBlender3?までの設定、Blender4での解決方法は不明（おそらくShader Editorで処理）
Viewport ShadingはMaterial Preview or Rendered（Solidの方法は不明）
マテリアルのSettinngsのBlend ModeとShadow ModeをAlpha Clipにする
キャラクタによってマテリアルの状態が異なるので、若干方法が異なるかも
Blender基本操作、難しければ紹介のみ
（課題候補）
3Dスキャン概要
EC2023プレゼン資料
Gaussian Splatting事例
日野キャンパススキャン
木工室にも3Dスキャナーあり
物体スキャンデモ（準備しだい）
Factrans Basic
Matterportアカウントの作成
Matterportサインインして、サンプルスペースの体験まで
Metashape（フォトグラメトリ演習）
準備
30日トライアルの開始（デモモードでは保存できない）
プロジェクト用フォルダの作成と写真データの整理
プロジェクトファイルの保存（各練習演習にて）
練習演習１：shoes_20210915.zip Region Box使わない
練習演習２：shiisaa_20220827.zip Region Box使う
以下は使わない
9.4 視点の切り替え（ショートカットのみ）
9.5 Transform Object > Rotate Obeject
9.6 Transform Region 紹介はするがBlenderで行った方が効率的だろう
メッシュ作成は行わずに（時間がかかるので）、練習演習３へ進む
練習演習３：
shiisaa_metashape.zipを利用する（kibao経由で12/18配布済）
練習演習４：Sketchfabへのアップロード
各自空間スキャン実験、発表準備
課題 自分で撮影したオブジェをSketchfabへアップ （課題候補）
提出はSketchfabのURLのみでよい
クオリティは問わない
Matterportスマホアプリインストール
Matterport Pro 2デモ＆皆で撮影テスト
スマホアプリで撮影実験
Matterportクラウドでの編集実験
日野キャンパス4号棟
海老澤＆青木作成映像紹介
発表 （課題候補）
空間スキャンを活かした企画プレゼン
空間3Dスキャン（スマホ撮影＋Matterportシステム）
企画プレゼン 3〜5分程度
デモコンテンツ作成（簡単な実験的なものでよい）
deepmotion FBXをBlenderで読み込んだ際のテクスチャの修正方法（キャラクタによって異なる）
以下はBlender3?までの設定、Blender4での解決方法は不明（おそらくShader Editorで処理）
Viewport ShadingはMaterial Preview or Rendered（Solidの方法は不明）
マテリアルのSettinngsのBlend ModeとShadow ModeをAlpha Clipにする
キャラクタによってマテリアルの状態が異なるので、若干方法が異なるかも
Blender基本操作、難しければ紹介のみ （課題候補）
hr.icon
（ネタ候補）
Blenderローポリ・ベイク、deepmotin、mixamoアニメ
Blender Geometry Node①
Blender Geometry Node②
参考紹介
9p〜23p
『アート系論文：書き方と執筆のススメ〜芸術科学会・ADADA共同企画〜の”実例から学ぶ芸術系分野論文の書き方（竹島由里子、近藤邦雄”」』
以降、終了分
hr.icon
第1回 10/1（火） ガイダンス
出欠
履修確定するまではForms
履修後は口頭
授業概要等
授業スケジュール
人体スキャン 4-104へ移動
ローポリ化演習でハイポリが必要
hr.icon
授業概要
学年・単位 大学院 選択 ２単位
開講期・時限 月曜４限（14:40〜16:10）
教室 2-401、一部内容は4-104（メディアキャプチャ実験室）も利用予定
当日に相談して内容検討
専門分野
プログラミングスキル確認、実装力
グループワークにするかどうか whee-project風
以降は検討段階メモ
授業で扱う内容（進捗により変更する可能性あり）
https://gyazo.com/88467e68a8907370cf475ba218c51372
実験的内容多め
以下はキーワード、ネタ候補、すべてではなく一部を扱う（◎は行う可能性の高いもの、△はいずれか）
◎ アートペーパー（要約とレポート）※シラバスよりはボリューム減
◎ パラメトリックデザイン（Blender Geometry Node）Blenderの基本操作は各自習得・資料配布
◎ ビジュアルプログラミング（TochDesigner） 2022一部重なるが、より発展的内容多め
△ モーションキャプチャ（画像解析タイプ、Perception Neuron紹介）
△ 3Dスキャン（物体型、Metashape）
演習をしない場合でも概要は説明予定
◎ 3Dスキャン（空間型、Matterportアプリ）
◎ 3Dスキャンを活用した企画プレゼン 2022にかぶる人はいるが、より発展したアイデアを期待
要確認
2022モーションキャプチャリング演習（キネマト同時開講）を受講した人 ２人くらい？
Metashape
deepmotion（人体スキャンなし）
Matterport
2022映像演習I・IIを3年次に受講した人
TouchDesigner基礎＋2Dはかぶるけど復習的位置づけで
Blender初めての人
上記のPart 01とPart 02だけでよい
Blenderの最新ver 4だけど、基本操作は同じなので問題ない
理解しにくいところは無視してよいので、マウス操作とObject ModeとEdit Modeの違いを理解するだけでよい
hr.icon
課題
成績評価方法 課題：80% 授業への参加度（出席）：20%
10/14 コンテンツリスト
発表を短くすることの難しさ
課題① アートペーパーサーベイ
発表３分（要約＋考察）、質疑＋プレゼン資料提出 ※5分が適しているんだろう（3分だと短すぎる システムは簡単にして、コンセプトや論文の語り方の部分を多めがいい。技術的なものもあるかも）4分1ベル、5分2ベル、10分3ベル
作品名
テーマ・主題
作品解説、動画あれば
作品の位置付け
背景やリファレンスから
自分なりの考察
自分の今後の研究の参考となる部分（あれば）
都立大内ネットワークからは無料でダウンロード可能
外部ネットワーク不可
以下、メモ程度、調整中
課題 Blender Geometry Node
課題 TouchDesigner
課題 deepmoition+mixamo
人体スキャンを連携させるかは未定
課題 空間3Dスキャン（スマホ撮影＋Matterportシステム）
企画プレゼン 2分程度
デモコンテンツ作成
hr.icon
必要なもの
ノートPC持参 Macベースで演習を行うがWindowsでも可能
随時ソフトウェア（デモ版 or 無料）のインストール必要
スマートフォン 身体動作撮影、空間スキャン撮影（iPhone、Android可）
hr.icon
授業資料
講義ノート
課題提出用Scrapbox
メンバー限定（招待用URLはkibacoお知らせ）
Scrapbox - SIGGRAPH Art Paperまとめ
SIGGRAPH Art Paper PDFデータ（Box URL 学内アクセス限定）
kibacoお知らせの授業資料参照
hr.icon
ソフトウェアインストール
TouchDesigner（アカウント作成とソフトウェアインストール） 10/21まで
上記の「4. インストール・登録方法」参照
Blender
deepmotion（アカウント作成） 適宜指示する
mixamo（Adobe CCアカウント） 適宜指示する
Matterport（アカウント作成とスマホアプリインストール） 適宜指示する