くたばれ表情分析

英語論文の翻訳です。

まだ途中です。

基礎情報

2019年2月12日

執筆者(京大のだれか、ワルシャワとポーランドの人？)

サトウ ワタル

Slywia Hyniewska

ミネモト カズサ

ヨシザワ サキコ

まえがき

感情を表す表情は人間の社会に置いて重要な役割をもつ

基本的な感情に合わせた原型的な表情の生成を先行研究では行っている

特定のシナリオに基づいて作成された表情は部分的にしか合致していなかった。

上記の要因として、研究が欧米のみだったことが挙げられる。

感情は(怒り、嫌悪、恐怖、幸福、悲しみ、驚き)の6つとされる

日本の一般市民(n=65)に対して

具体的なシナリオに基づいて6つの感情の表情をしてもらう

写真上の6つの基本的な感情の表情を模倣してもらう

顔の各パーツ抽出のアルゴリズムであるFaceReaderを用いて検証する。

結論としては、

幸福と驚きのシナリオのみ目標とする感情の結果が得られた。

写真とシナリオで感情の強さや顔の動作単位なるものの値に差異があった。

イントロデュース

人間の社会では表情は感情を出すのに最も最適なものだよ

人には基本的な顔が6つあるよ

過去の研究者は多数の映画鑑賞によって社会的なコミュニケーションを観察して理論を構築したよ

表情に基本を設けて、各部位に単位を設けたよ(口角、頬を上げているか、鼻のシワ...etc)

当初の表情の出させ方は、感情的な映画を見せたり、自然の中で観察したりしてたよ

でも、これじゃ観察しづらいから、表情の研究は滞ってるよ

しかも西欧でしかしてないよ

プロの俳優や盲目の方にも協力してもらったよ

目が見えるかどうかで差異はなかったよ

さっきの各部位に単位を設けたのが正しいとは証明しきれなかったです

でもきっとそれはデータ数が少なかったからだよ

他にも表情筋の違いなどもあるかも？

西欧のほうが口角の筋肉があるんだって

日本人65人で写真の模倣実験とシナリオ実験を試した(フェイスリーダーを用いて顔の動作をから表情を検出した)

写真はちゃんと感情でてる

シナリオは喜びと驚きだけ

なんで写真とシナリオの実験でこんなに違うんだ？

感情の強さは表情によって異なると予想したよ

被験者

日本人に許可を取ったよ

この実験はヘルシンキ宣言に従ってるよ

実験方法

シナリオと写真での表情をみるよ

上記の6つの基本感情に従うよ

装置

角度毎にカメラをおくよ

手順

以下を説明したよ

部屋でやるよ

ビデオ撮るよ

装飾物とかやめてね

顔の位置は固定するよ

実験者（被験者とは違うよ）は後ろで待機してるよ

まずは、顔に偏りがでないようにランダムな順番にシナリオで表情を作ってもらったよ

怒り：君がとても嫌がってることをされたよ

嫌悪：キッチンのゴミが臭いよ

恐怖：暗闇で独りだよ。電気もないんだよ。

幸福：長い間欲していたものが贈られたよ

悲しみ：親友が引っ越しちゃうって...

驚き：空だと思っていた箱から子猫が出てきたよ

シナリオの内容について

先行研究で使われたものを参考にしたよ

被験者外の日本人10名の協力で修正したよ

検証はラベルマッチング課題と9段階評価でそれぞれやったよ

多重比較で確認したよ

シナリオに基づいて顔を作ってもらうので被験者には鏡を見ながら自身が納得のいく顔を作ってもらったよ

写真はただ単に「真似をして」って指示したよ

データ解析

非実験関係者によって表情変化の部分を無作為に抽出

顔検出アルゴリズム「Viola-Jones」を用いて顔を抽出

表情検出に「Active Appearance Method」を利用

感情の強さは0~1で表す

AUモジュールで以下の箇所を定量化した。

眉毛の内端

眉毛の外端

眉毛の下降

上瞼の上昇

頬の上昇

目蓋を閉じる

鼻のしわ

上唇の上昇

口角の上昇

くぼみ(えくぼ？)(dimple)

口角の下降

あごをあげる

唇を尖らせる

唇を延ばす？(lip stretch)

唇を結ぶ？(lip tighten)

唇を押す？(lip press)

唇の一部？(lips part)

あごを下げる

口を延ばす？(lip stretch)

目を閉じる

meshes showing the positions of the 500key points overlaid on face images

以下の画像をテストデータと混ぜた？

上記の画像を目視で探した？(何も知らない被験者が)

感情に関係ない顔の特徴

顔の表現と関係ないシミや影、反射光

感情とAUの数値はSPPS16.0で統計分析した

感情の強さをダネットの多重比較し、プロファイル同士の差異を分析した。

感情の強度の差を分散に用いて(MONOVA)変量検定を行った。

上記だけだと不十分とされたため、AUに主成分分析を事前に施して再度行った。

結果

補足図2は各指示条件下での全被験者の顔をモーフィング技術で平均化したものである。

顔の符号化は理論的な写真を用いてニューラルネットワークで自動的に行った。

感情の強さを図1に示してる(該当データにダネットの多重比較を適用)

写真の条件では他の感情よりも目標の感情が強く示された(p<0.001)

シナリオ条件では「幸福」と「驚き」の表情のみがターゲットの感情に合致していた(p<0.001)

「怒り」は他の感情より強度が有意に高かった。significantly higher

嫌悪は嫌悪強度に関して幸福、恐怖、驚きよりも有意に高かった(significantly higher)が、他の感情にはなかった。

恐怖表情の恐怖強度は幸福よりも有意に高いだけだった。

悲しみの悲しみ強度は「どちらでもない」を除いて他のどの感情より高かった。

シナリオと写真で比較するために感情の強さをConducting parallelism testを行った。

並行かの検定にMONOVAをし、感情の強さを求める？

特徴

両条件では怒りの強さが低く、中立( the neutral intensities)が高い

嫌悪の感情は嫌悪の表情で低く、中立で高い

恐怖や幸福の感情が強さが低く、怒り、悲しみ、中立の感情が高かった。

幸福感の強さは低く、中立は強かった。

嫌悪感は悲しみでは低く、中立では高かった。

驚きは低かったが、中立では高い。

AU強度

怒り

眉毛の下降、えくぼ、あごの引きあげ、唇の引き締め、唇の推し(なんだよlip pressって)が低い

嫌悪感

まゆをさげる、頬をあげる、鼻のシワ、あごをあげるが低い

唇を離すが高い

恐怖

まゆの内端の上昇、上瞼の上昇、口角の引き下げ、唇の伸ばし(なんだよlip stretchって)が低い

まぶたの引き締め、唇の押しが高い

幸福

口角があがる、唇の一部が低い

悲しみ

特になし

驚き

まゆの内端の上昇、まゆ外端の上昇、うわまぶたの上昇、唇の一部、あごの下降が低い

表情の違いによる感情の強さの比較

シナリオ条件での考察

感情強度と感情(基礎的な6感情)を因子としてMONOVAとして分析

すべての表情のペアで有意に異なっていた。

表情の違いによる感情の強さの比較

シナリオ条件での考察

感情強度と感情(基礎的な6感情)を因子としてPCA後にMONOVAとして分析

その後のペアワイズpairwise？ですべての表情のペアでAU強度が有意に異なっていた。

怒りと嫌悪の表情を除く

DISCUSSION

まってこの量は凹む

無理

ちょっとやる気出してきます。