VSeeFace
VRM(および拡張のVSFAvatar)が利用できる、OSSの3Dフェイスモーションキャプチャソフト。 VRM向けFacerigみたいなもの。
特徴
VRM対応
VRM拡張としてVSFAvatarがあって、こちらは好きなシェーダとかが使える。わかる人向けに言うとVRChatみたいなかんじ。 LeapMotion対応
腕や指が動かせる。
クロマキー設定不要
OBSのゲームキャプチャで取り込んだときに背景が透過してる。謎技術。
Spout2で取り込んだときも透過している
VTube StudioはLive2D向けツールなので、両方持ってる人でも安心
Android向けはMeowFaceがあります
試した感じ、左右の可動域はiOSのFaceIDよりも広いけど、まばたきのトラッキングが苦手な雰囲気がします。
VMCプロトコル対応(送受信)
受信の例
waidayoからパーフェクトシンクの顔のキャプチャを受信する
VMC経由で全身の動きをトラッキングする
送信の例
VMCにフェイスモーションキャプチャの結果が送れる
トラッキング精度が良い
トラッキングのコア部分はOSS(二項BSD)
解説記事