VSeeFace
#VRM #パーフェクトシンク #VSFAvatar
https://www.vseeface.icu/
VRM(および拡張のVSFAvatar)が利用できる、OSSの3Dフェイスモーションキャプチャソフト。
VRM向けFacerigみたいなもの。
特徴
VRM対応
VRM拡張としてVSFAvatarがあって、こちらは好きなシェーダとかが使える。わかる人向けに言うとVRChatみたいなかんじ。
頑張ればお部屋とかも作れるらしいですHow to add 3d room to VSeeFace
LeapMotion対応
腕や指が動かせる。
クロマキー設定不要
OBSのゲームキャプチャで取り込んだときに背景が透過してる。謎技術。
Spout2で取り込んだときも透過している
参考:VSeeFaceでSpout2を使う
パーフェクトシンク対応
iOSではiFacialMocap/FaceMotion3D/VTube Studioに対応
iFacialMocapがこの3つだと一番安いです。Luppetもこれに対応しています。
VTube StudioはLive2D向けツールなので、両方持ってる人でも安心
Android向けはMeowFaceがあります
https://play.google.com/store/apps/details?id=com.suvidriel.meowface
試した感じ、左右の可動域はiOSのFaceIDよりも広いけど、まばたきのトラッキングが苦手な雰囲気がします。
VMCプロトコルでwaidayoからも受信可能
VMCプロトコル対応(送受信)
受信の例
waidayoからパーフェクトシンクの顔のキャプチャを受信する
VMC経由で全身の動きをトラッキングする
送信の例
VMCにフェイスモーションキャプチャの結果が送れる
トラッキング精度が良い
とくに実験的な表現検出がよい!わかりやすい解説はこれ
トラッキングのコア部分はOSS(二項BSD)
https://github.com/emilianavt/OpenSeeFace
解説記事
VSeeFaceの使い方【3Dvtuber向けのトラッキングソフトウェア】
【使い方解説】VSeeFaceで笑顔になれ!Webカメでフェイストラッキングのすすめ。