Learning Visual Emotion Representations from Web Data

概要

大きな感情認識のデータセットが存在しないことを解決するためのデータ収集と学習のアプローチを提案

手法のポイント

690個の感情に関するタグを用いて画像の特徴量を抽出した

画像から特定のキーワードが紐づいたものだけを取り出して，それらを紐づける

画像から特徴量を抽出するためのネットワーク

画像に紐づく全ての単語のベクトルと，画像から抽出した特徴量が近くように学習をする

感情を示さないキーワードから感情を推定し，それを用いて得た感情のラベルを用いて多クラス分類を行う

https://gyazo.com/508e498e113d6030f004d6edc926b520

https://gyazo.com/92197811e7ab1000f1e421ecd845406d

多クラス分類と特徴量のコサイン類似度を用いて学習をすることで高い精度を達成した．

先行研究との差分

Word Embeddingを用いた学習手法がそもそもなかった

データセットの拡充とそれを用いた学習をセットで提案できている

有効かどうかの検証

分類精度(Accuracy)

議論

着眼点として，大きなデータセットがないことの問題を「タグ」というデータを用いることで解決することは面白い

データ収集の段階で工夫をするアプローチという意味では別のやつも同様

アルゴリズムによるアプローチ(自己教師あり学習)とかでどこまで解決できるのかが気になる

次に読む論文