Blender 実写合成 Part 5（準備中）
hr.icon
1. ゴール
CGWORLD.JPで公開されているチュートリアルを応用した演習。
deepmotionを利用してダンスモーションを取得し、mixamoキャラクターとユニゾンでダンスするシーンを作成する。演習中では背景の装飾は行わない。
https://youtu.be/VTDap9lXTVw
参考チュートリアル
CGWORLD.JPで公開されている以下のチュートリアルを利用する。
サイトではBlenderを日本語版にしているが、ここでは英語版のままで進める。
https://www.youtube.com/watch?v=-htWQeJynlA&t=1s
hr.icon
memo
Footage > Proxy/Timecode
元素材が4Kの場合、処理を軽くするときに使う
手順
Proxy/ Timecodeにチェックを入れる
Build Originalで生成したいものを選択（複数可能）して、Build Proxy / Timecodeをクリック
Proxt Sizeから使うものを選択
例えば50%にした場合はマーカーのDetect Featuresも少なく解析される
Proxyは使わない（設定を理解しきれていないので）
Proxy使うとマーカー解析の処理が重くなるので、元のままでキャッシュをあげたほうがよい（他に方法あるかも）
Prefetch
すべて読み込まれない場合は、Preferences > System > Video Sequencer > Memory Cache Limitを上げる。
4096（初期値）の倍数が望ましい
Marker > Detect Features
Movie Clip Editor > Tracking > ClipとGraphの選択は完全には連動しないので注意、手順に注意
Movie Clip Editor > Tracking > Clipのビュー内で何もないところを選択して、全選択解除
Movie Clip Editor > Tracking > Graphで極端なものは選択して削除
Movie Clip Editor > Tracking > Graphで選択して削除
左クリックを繰り返すことで複数選択（SHIFTは不要）
削除する場合はMovie Clip Editor > Tracking > Clipのビュー内にカーソルを移動してXキー
Solve > Cleander
使い方まだ不明
Thresholdの値の意味 10くらいでよい（5以下だとほとんど削除される） 正しく動いていないマーカーを判別
Graphで激しく動いているものが選択されていると思われる
GraphがSmoothになめらかになるらしい
Focal Lengthにチェックを入れる
KeyFrame AとBは同じ空間で異なるアングルがわかるフレーム
Solve Camera Motionを押す
Solve Errorを確認
高い場合はマーカーを見直す
Set Background
これはCameraのBackgroud Images設定と同義
マーカー処理した後にProxyを使うべきか
4KだとMac Book Air 2022ではさすがに重い
Prefetchし直せば大丈夫かも
Cameraの回転はPivot PointをCusorに
以下YouTubeでは、完全にトラッキングするには、マーカーをさらに増やして再トラッキングしている
hr.icon
2. チュートリアルの流れ
基本的にはCG Worldサイトの流れで行う
英語版Blenderの画面を補足として掲載する
*.* Emission Texture
hr.icon
*. deepmotion
*.1 deepmotionの使い方
下記サイトを参考に解説する。
hr.icon
*. mixamoキャラクターの設定
*.1 キャラクターの配置
*.2 影用Planeとマテリアル
*.3 Lighting
hr.icon
*. Eeveeでのレンダリング
*.* Eeveeのレンダリング結果
https://youtu.be/VTDap9lXTVw
hr.icon
*. Cyclesでのレンダリング（紹介のみ）
*. 1 Cyclesでの設定方法
CyclesではEmission TextureとShadow Catcherが両立しない。Shadow CatcherをONにしたPlaneをEmission Textureの上に配置すると、Emission Textureが消えてしまう（下図）。あくまで個人の実験結果なので他に方法があるかもしれないが。
https://gyazo.com/87981929ae565b6771b55bdb3577e3c7
解決方法としては、View Layerを３つに分けてCompositeで合成する方法が考えられる。
https://gyazo.com/d62ae279d030d8e520432101a338588c
一方で、そもそもEmission Textureを利用して実写映像の一部と3Dモデルと合成するというトリッキーな方法で制作しているのは、Eeveeのリアルタイム性を活かして直感的に制作したいことが目的だと思うので、Cyclesで制作が複雑になるくらいなら、Emission Textueを無理に利用しないで、他の制作方法（ダンサー映像をグリーンバックで撮影、AEロトブラシ or AIで切り抜き）も考えられるとは思う。
（自己解決メモ）Emission TextureがCyclesでは表示されない問題
PlaneのObject PropertiesのVisibilityのShadow CatcherがONになっていた。Obeject PropertiesのVisibiltyは、EeveeかCyclesかで項目リストが異なる。EeveeではShadow Catcherがない。Cyclesに切り替えたときしか、Shadow CatcherがONなのかOFFなのか確認できない。Planeを追加した時点の初期状態ではShadow CatcherはOFFなはずなので、どこかでONにしてしまったのだろう。
参考）関係ないが、Emission Textureの別のノードの組み方
*.2 Cyclesのレンダリング結果
https://youtu.be/iPvJiEVz5lY
hr.icon
*. 素材の実写映像の撮影のコツ
以下サイトの5に撮影のコツが掲載されている
以下、検証中。
強い手ブレ補正はOFF
自動露出をオフ
カメラの位置が移動（トラッキング）していないと解析されにくい
解析時にTripod設定
空間のパースが異なる状態、特徴点が含まれる構図で撮影して、後からトリミングする等も検討したほうがよいかも