パーフェクトシンク

iOSのARKitで取得できるBlendShapeLocation全52点のパラメータに対して、VRMの同名BlendShapeClipを52個用意し、BlendShape単体ではなくClipを用いてVRMモデルの表情を制御する実装です。（noppeさん命名）

ARKitのリサーチ中、VRMの仕様と相性がよいことに気づき、noppeさんのアプリ『vear』にBlendShapeClipを参照するモードを実装していただきました。

これをきっかけに、現在では VMagicMirrorやLuppet、バーチャルモーションキャプチャーなど、さまざまな環境で利用できるようになっています。

パーフェクトシンクはVMagicMirror v1.3.0で追加された機能です。

iOSのARKitで取得するユーザーの表情を、アバターのブレンドシェイプに反映する技術のこと...ではない

@hinzka: ARKitのフェイストラッキングに対応＝パーフェクトシンク対応しました！のような言及が増えてきて、実はこまっている

『Blendshape52個』を用いる【ARKitフェイストラッキング】の公式仕様と区別するために

VRMの『Clip52個』を参照する独自仕様に【パーフェクトシンク】という名前がつきました

@hinzka: たとえば BlendShapeを直接参照するVRMアプリが「パーフェクトシンク対応アプリ」と称して提供されると

Clip上で表情を構成しているVRMモデルは、本来の動作ができず、素材のシェイプキーだけで動いてしまう

不完全だけど「動く」から、結果「このモデルあんま可愛くない」ってなる非常にかなしい

利用例

@takatoshi_abe: パーフェクトシンクの表情テスト。アップの絵の魅力がグッと増した！

対応モデルが出ている