07 EmoCast: 顔への表情変化情報投影による話し相手の印象向上システム

浅野恭志(神戸大)，大西鮎美(神戸大)，寺田努(神戸大)，塚本昌彦(神戸大)

議論枠発表（7.5分発表 7.5分議論）

https://scrapbox.io/files/65658a4e0d3c8a001be3ee2c.png

論文：

要旨：

本研究では、静止対象物にグレースケールの動き情報を投影して対象物が動いているように錯覚させる技術を応用し、顔のパーツが動く会話中などでも運動パターンを投影できるウェアラブル表情拡張システムEmoCastを提案する。提案システムでは、カメラで取得した顔映像をスマートフォンに送信して顔の3Dモデルを作成し、この3Dモデルにあらかじめ作成した運動パターンをマッピングして、プロジェクタで本人の顔に投影する。これにより、無表情からの表情の生成、表情の増強、表情の打消しといった機能が実現できる。

採録時コメント：

頭部に装着したウェアラブルデバイスにより表情の画像認識し、プロジェクションを行うことで表情の改変を行う技術について提案、検討したものである。有用性の評価手法に不明瞭な点があるものの、提案の新規性は認められる。その「荒削り」さにより、「根本的な課題解決になっているのか」、「装備や技術の進歩によって将来的には表現力が高まり不自然さが軽減されるのか」等、活発な議論が想定される。以上の結果から、議論枠採録と判断された。

https://youtu.be/acrxHbfbH5U

参加者メモ・コメント：

スクリーン2、前方の参加者以外は文字が小さくて読み取れないので少しブラウザ表示を拡大してもいいかもしれません

ブームが長いのが気になります。短焦点レンズ使って投影距離短くできそう（レンズ歪は補正できる）。HMD下端や帽子の鍔部分から投影できればなお良し。

「ニヤッ」

デバイスが与える「愛嬌」の影響が気になりますw>評価実験

むしろ相手の表情を投影してはどうでしょう？

漫符の投影とかどうだろう（怒ってるんだぞ！/ぴえん etc）

無表情投影装置（表情キャンセラ）、ポーカーフェイス用。

「さらに行ける」のか（ほんまか？）

（第7話）デバイスが動いてると思い込んで会話してて、実は動いてなかったことに気づく

何ができそう？

小顔化

チックなどの顔面の動きの補正

https://scrapbox.io/files/6567d4b543b4a100229d8925.webp

UISTのおたま　

質疑応答：

今の実装だとどれくらいの投影、撮影距離が必要か、そしてそれはどれくらい短くできる見込みがあるか

ちゃんと顔特徴をとって投影しないとうまくいかないのかな？だいたいでいいのかな？

ある意味実験では実際の人間が装着する意味はないように思えるけど、装着者はどんなふうに過ごしていた？

装着者の前にカメラがあると，顔に投影しても，装着者の顔を認識しにくいと思ったのですが，そのようなことはなかったのでしょうか？

Emocastならではのエフェクトはないのか？（そのやまさん口頭）

無表情があるから、表情に意味がある。表情がインフレすることはないか（ごとうさん口頭）

投影パターンの光量によっても自然に見えるかが違うと思うのですが、そこはどのように決定しましたか。