2022.04.04_プロジェクト遂行状況報告_社会的インタラクション支援
研究題目
サイバー空間とフィジカル空間の融合に基づく社会的インタラクションの支援
本年度の活動状況
（１）データ収集
対面とオンラインのコミュニケーションを厳密に比較するために，対面でのグループディスカッションのコーパスであるMATRICS コーパス［１］を参考にし，これと同じ課題設定で，４名１組のグループにおいて３つの話題について議論してもらい，オンラインでのグループディスカッションのコーパスを収集した．11グループにより合計33会話を収集した．収集した会話の発話総数は，21588である．初期分析として，対面とオンラインで発話長に違いがあるのかを調べたところ．３つの話題全てにおいて，オンラインの方が対面に比べて平均の発話長が長くなり，その差は統計的に有意であった．
［1］ Nihei, F., Nakano, Y. I., Hayashi, Y., Huang, H., and Okada, S. : Predicting Influential Statements in Group Discussions using Speech and Head Motion Information, 16th ACM International Conference on Multimodal Interaction (ICMI2014), pp. 136-143, 2014.
（２）分析・モデル化
＜説得力の推定＞
説得力は、他者とコミュニケーションをとる上で重要なコミュニケーションスキルである。本研究では、グループディスカッションにおける参加者の説得力を推定する学習モデルを作成した。まず、グループディスカッションにおける4人の参加者それぞれについて、説得力の程度を評価した。次に、GRUベースのニューラルネットワークを用いて、音声、言語、視覚（頭部ポーズ）エンコーダを作成した。各エンコーダの出力を組み合わせて、マルチモーダルかつマルチパーティモデルを作成し、各参加者の説得力を推定した。実験の結果、マルチモーダルおよびマルチパーティモデルは、ユニモーダルおよび一人用モデルよりも優れていることが示された。最も性能の良いマルチモーダル・マルチパーティモデルは、説得力の高低を80%の精度で予測し、グループ内で最も説得力のある参加者を77%の精度で予測できる。
研究の成果の公表
国際会議プロシーディングス
1. Atsushi Ito, Yukiko I. Nakano, Fumio Nihei, Tatsuya Sakato, Ryo Ishii, Atsushi Fukayama, and Takao Nakamura. 2022. Predicting Persuasiveness of Participants in Multiparty Conversations. In 27th International Conference on Intelligent User Interfaces (IUI '22 Companion). Association for Computing Machinery, New York, NY, USA, 85–88. DOI:https://doi.org/10.1145/3490100.3516466 2. Fumio Nihei and Yukiko I. Nakano. 2021. Web-ECA: A Web-based ECA Platform. Proceedings of the 2021 International Conference on Multimodal Interaction. Association for Computing Machinery, New York, NY, USA, 835–836. DOI:https://doi.org/10.1145/3462244.3481302 特許
1. 二瓶 芙巳雄，石井 亮，深山 篤，中村 高雄，伊藤 温志，中野 有紀子，説得力推定装置、説得力推定方法及び説得力推定プログラム
2. 二瓶 芙巳雄，石井 亮，深山 篤，中村 高雄，中野 有紀子，特願2021-184619，推定装置、推定方法及び推定プログラム，提出日：2021年11月12日
3. 高山 千尋，石井 亮，永徳 真一郎，中野 有紀子，二瓶 芙巳雄，特願2021-183726，対話映像要約装置、対話映像要約方法、および、対話映像要約プログラム，提出日：2021年11月10日
4. 二瓶 芙巳雄，中野 有紀子，情報処理装置、情報処理システムおよびプログラム