パーフェクトシンク
VRMをiOSつかってめっちゃいい感じにフェイストラッキングするしくみ(なおホームボタンのないiPhoneかiPadが必須)
iPadだと配信のじゃまになるので、iPhone推奨
https://gyazo.com/6933b3cba088cfdb9d99b289becd773e
対応ソフト
これ使っとけ
PC側
英語に抵抗がないならカスタマイズ性も高いVSeeFaceがおすすめ
Luppetはわかりやすくいろんな機能が配置してあるので混乱しづらくておすすめ
送信側
waidayo
絶対にコストかけたくないならこれとVSeeFace
iFacialMocap
有料アプリだけど、LuppetもVSeeFaceも対応してるのでおすすめ
VTube Studio
VSeeFaceのみ対応ですが、Live2Dアバターも持ってるならこっちのほうが用途に合うんじゃないでしょうか。
iFacialMocapよりもモーション送信にかかる課金額が高いのが難点。3D用途だけだとちょっと割高な感じ。
iOS単体
市場を切り開いたソフト
無料(オープンソース)
VMCプロトコル送信機能がある
iOS AppStoreで980円
iFacialMocapはキャプチャーした値をPCに受け渡すためのソフト。PC用ソフトと組み合わせて利用可能
無料
個人ライセンス5000円
LeapMotion対応
iFacialMocap利用時もカメラを掴みっぱなしになるが、特にトラッキングには利用してなさそう
iFacialMocap/FaceMotion3D/VTube Studioに対応(詳しくはVMCプロトコルベースの欄を参照)
途中まではシェイプキー全部必要だったけど修正されました
専用iOSアプリ+PC
v1しか持ってないので未検証
送信ソフト
iOS対応
Android対応
詳細確認中
受信ソフト
オフィシャルPC版ソフト
Oredayo4V - Windows専用waidayo向け撮影・配信支援ツール
VMCプロトコルの実装リファレンスみたいな(本家本元)
海外製無料オープンソースアプリ
LeapMotion対応
他のVMCプロトコルアプリの中継に使えるみたい。
https://www.youtube.com/watch?v=nkPqAD1paGE&feature=youtu.be
VSFAvatar というVRM拡張規格があって、カスタムなシェーダー使ったりパーティクル使ったりDynamicBone使ったりできちゃう。VRChat向けアバターの移植ができる! 多分他にもあるので誰か書いて
多分これが一番安くていいと思います
waidayo iOS + VSeeFace
Luppetのところに書いたけど、Luppetではできてない、設定次第でカメラでのトラッキングも一緒に利用してくれるのがよさそう。
ただ英語で癖があったり色々ありそうな感じはする。
VSeeFaceの設定例
https://gyazo.com/fc17b3d3385e2565d9f4739464e2ad4a
顔だけwaidayo使ってほかはVSeeFace利用です
多分これが最強だと思います
iFacialMocap/VTube Studio + VSeeFace
VMCプロトコルベースじゃない手段もできたので、こっちを今はメインで使ってます。
検証中
MeowFace
まともなAndroid機持ってないので買ったら挑戦します。
パーフェクトシンクについての詳しい解説
Live2Dでできないの?
似たようなことが出来るアプリがいくつか
モデル作成以外のtips
iPhoneスタンドに、こういうディスプレイの横に置くやつおすすめ。
VRoidのモデルにパーフェクトシンクを適用する方法
このチュートリアルはv3向けで現行バージョンはv4であることに注意
バリエーションとしてHana Appというスタンドアローン(Unity不要)のものもある VRoid以外のモデルにパーフェクトシンクを適用する方法
何がやりたかったかと言うと、VRoidのサンプルのBlendShapeを利用してたくさん必要なBlendShapeを作る手間を省きたかった。
もしかしたら手順に抜けがある可能性もあるので間違ってたら指摘ください。
パーフェクトシンクを適用したいVRMモデルを用意してインポートする
BlendShapeをコピー
CopyVRMSettingsを選択して、SourceにVRoidモデル、DestにVRoidでないVRMモデルを指定してコピー
https://gyazo.com/a38819a122bd43bad3564a687f55d5fd
コピーしたBlendShapeを修正する
もちろん通常の表情モーフも消えるので、再設定が必要
そもそも対応するシェイプキーが存在しないので、シェイプキーを適用しないところも全部何かしらの変更をして保存し直す必要があるので注意
https://gyazo.com/a866c86333219909d1b4b4792aa0d478
モデル設定用メモ
VRoid以外でのパラメータ設定例として参考になるページ。これを参考にアイルロースに設定した。
パーフェクトシンク設定例(アイルロース)
すべて100%で設定(勘所はわかってないが、とりあえずそれっぽく動くのが大事)
BrowDownLeft
真面目(眉の中央下げ)
BrowDownRight
なし
BrowInnerUp
困る(困り眉)
BrowOuterUpLeft
真面目(眉の中央下げ)
BrowOuterUpRight
なし
CheekPuff
頬膨らまし
CheekSquintLeft / CheekSquintRight
なし
EyeBlinkLeft
ウィンク(左)
EyeBlinkRight
ウィンク右
EyeLookUpLeft / EyeLookUpRight / EyeLookDownLeft / EyeLookDownRight / EyeLookInLeft / EyeLookInRight / EyeLookOutLeft / EyeLookOutRight
アイトラ関係は動きそうにないので未設定
EyeSquintRight / EyeSquintLeft
いい割り当て思いつかなかったのでなし
EyeWideLeft
びっくり(目が小さくなる)
EyeWideRight
なし
JawForward
なし
JawLeft / JawRight
なし
JawOpen
い(い口)
MouthClose
なし
MouthDimpleLeft
口最大(口開け)
MouthDimpleRight
なし
MouthFrownLeft
への字口
MouthFrownRight
なし
MouthFunnel
不満口(ちょっと口開け)
MouthLeft
口最大(口開け)
MouthRight
なし
MouthLowerDownLeft / MouthLowerDownRight
なし
MouthPressLeft / MouthPressRight
なし
MouthPucker
なし
MouthRollUpper / MouthRollLower
なし
MouthShrugUpper / MouthShrugLower
なし
MouthSmileLeft
笑い口
MouthSmileRight
笑顔(目がにっこり)
MouthStretchLeft / MouthStretchRight
なし
MouthUpperUpLeft / MouthUpperUpRight
なし
NoseSneerLeft / NoseSneerRight
なし
TongueOut
なし
モデル設定個人的tips
全部指定する必要はない。
特に、左右あるものを両方設定する必要性はない。そのブレンドシェイプに相当するシェイプキーがモデルにないなら片方だけで妥協してもいい感じに動く。
笑顔の口元に目が笑うやつを設定するといい感じになる。