第6回 VRM勉強会 in YouTube LIVE
2022/10/19(水)にYoutube Liveで配信
https://youtu.be/iWucttIioRk
タイムスタンプがついているので見やすい!
VRアバターの共通規格「VRM」に関する知見共有や、作ったアプリの自慢をする勉強会です。 知見の共有ももちろんですが、アプリの自慢とかでも全然良い緩い勉強会となっています。
けしごむ.iconの主観、感想、自分で追加した情報なども含まれています。
アバターでギター弾き語りができるアプリ『Vフレット』の話
なかじ さん
Vフレット
路上でギターの弾き語りをしているような映像が作成できるアプリ
ギターの演奏モーション
リップシンク対応
Webカメラは不要
ライブ配信・事前収録にも使える
TDPT Ver0.6 の話
青柳幸彦 さん
TDPT
Three D Pose Tracker
USBカメラでモーションキャプチャができる!
動画からのモーションキャプチャもできる
学習モデルは自作
VMCプロトコルに対応
ポストプロセスも使える
360度配信にも対応!
Unityで使えるポーズブック、COCOPStudio
若草なずな さん
COCOPStudio
VRMからパッとイラストを作れるアプリ
ポーズブックから選んでポーズを適用できる
3周年での大型アップデート
ミラー適応
解像度変更
Looking Glass Portrait 対応
4周年に向けて実装済み
カメラ操作
ポーズの一部適応
ベータ版公開
Unityとの連携
無料版の期間限定公開
FumiFumiから学ぶ、誰のためのアプリ開発
青空フミ さん
FumiFumi
高品質なバーチャル写真をお手軽に撮影、編集できる写真アプリ
ポーズ編集
GLBや画像読み込みが出来る
最初は自分用のアプリだった
ユーザー目線でやさしく、わかりやすく
どこまでやるかはケースバイケース
モーションキャプチャーでアバターを動かせる「NeuronVRM」の紹介
やはぎ さん
NeuronVRM
モーションキャプチャーデバイスのPerceptionNeuronに対応している
最近のアップデート
VRM1.0対応
Axis Studio対応
今後
FaceTracker対応
物を持てるようになったり…
VRM1.0対応
ローカル軸の維持への対応
ConrolRigを使おう
NeuronVRMのビルドはGithub Actionsを使っている
UniVRM 利用アプリケーションの VRM 1.0 への移行について
さんたー さん
話すこと
アップデートに必要な機能の差分
1.0に関するAPIの概要
話さないこと
詳細な使い方
VRM1.0
VRMの正式な規格
0.xはベータバージョンだった
リリース済み!
VRM1.0の動作確認
サンプルモデル
VRM1.0対応アプリ・サービス
バーチャルキャスト
VRoid Hub
機能の差分
UnityPackage
VRM-0.xxx..
VRM_Samples-0.xxx..
UniVRM1.0に切り替えてもVRM 0.xは読み込める
ロード
構造が変わっている
ライセンス
VRM1.0と0.xそれぞれに対応する必要する
自作アプリにおける、キャリブレーションや表情設定とマルチプレイ同期
二人がゆったり話せるVRM空間をつくりたい
キャリブレーション
DVRSDKを使用
マルチプレイ
Photon Cloud
各クライアントでIKを計算
RPを活用してキャリブレーションを同期
バイナリ実装した VRM1.0読み込み
F.Issiki さん
VMD Retarget
VRM 0. => VRM 1.0
バイナリ読みだし
UniVRMを使っていない
ローカル軸
VRM1.0で正規化がなくなったので対応する
けしごむ.icon余談:ボーンの正規化の廃止とControl Rig
やはぎさんやF.IssikiさんのLTにもありましたが、VRM1.0の変更点のなかではボーンの正規化の廃止が大きいですね。
VRM0.xではVRMの出力時に各ボーンのローカル軸をワールド軸にそろえる正規化と呼ばれる処理が行われていました。
この正規化によって別々のVRMでも簡単に同じ方向へ関節を回転させることができます。
VRM1.0では、この出力時の正規化が廃止されました。
モデルの表現の自由度やコンストレイントの追加などが関係していますが、詳しくはvrm-specを参照してください。 VRMのボーン回転を操作していたアプリでは追加の対応が必要になります。
VRM0.xと同じように操作するためには読み込み後に従来の正規化と同等の処理を行う必要があります。
UniVRMにはControl Rig、three-vrmにはNormalizedBoneという仕組みが提供されているようです。