jeeliz
https://gyazo.com/5a406354375463a1ee5f47959d8774a0
Deep LearningとWebGLによってリアルタイムな表情認識などのライブラリを開発している。
Webで表情認識などをするのにもってこい。
WebでVtuberアプリを作りたい人におすすめ！
公式サイト
使ったことがあるライブラリはjeelizWebojiとjeelizFaceFilterの二つ。
jeelizWeboji
https://gyazo.com/199ebcfd3de691755233a9e78f8b99b5
AnimojiのWeb版
普通のWebカメラ、スマホのカメラで動く
目の開閉や口などの表情認識
認識できる表情は
頭の角度(3Dof)
左右それぞれの口角(smile)
左右それぞれの眉を上げる
左右それぞれの眉を下げる
口を開ける
口を丸める
左右それぞれの目を閉じる
歯をむき出す
利点
かなり多様な表情を取れる。
それなりに軽い、GPUがあれば動く
読み込みがはやい
Apache-2.0ライセンス
モバイル端末でも動く
欠点
そうはいってもやっぱり重い
端末の性能でFPSがかなり変動する
ハイエンドでないモバイル端末ではきびしい
日本での利用例が皆無・・・
References:jeeliz/jeelizWeboji
自作のデモ
Vauta VRMでのアバタービデオチャット
jeelizFaceFilter
https://gyazo.com/21d2c186005692e67df5c67cf7e80c17
SnapchatのARフィルターのWeb版
もちろん普通のWebカメラ、スマホのカメラで動く
jeelizWebojiよりも表情検出の種類が少ない代わりに非常に軽量
認識できる表情は
頭の角度
顔の二次元座標（スクリーンｘｙ座標）
顔の大きさの変化（奥行き移動の検知）
口の開閉
つまりこれで顔にひっつくARフィルターが作れる
利点
動作が軽い
検出精度を犠牲にすればさらに軽量化できる
読み込みがはやい
Apache-2.0ライセンス
モバイル端末でも動く（問題なく高速に動作するはず）
欠点
検出できるものが少ない、目とか
日本での利用例が (ry
References : jeeliz/jeelizFaceFilter
自作のデモ
VRM自撮りフィルター VRMでアバターAR
#web #表情認識