美術鑑賞者の視線を考慮する対話型鑑賞支援システム「MuseMate」の開発
松田裕貴, 鳥垣耀平, 渡邉洸: “美術鑑賞者の視線を考慮する対話型鑑賞支援システム「MuseMate」の開発,” 情報処理学会インタラクション2026, pp.1157-1162, 東京都千代田区, 2026年3月.
Abstract
美術館では来館者の主体的な学びを促す「対話型鑑賞」が注目されているが,学芸員や教育普及スタッフの人手不足により,個々の来館者に対して十分な対話的支援を提供することが難しい.また,多様化する鑑賞者に応じた個別最適な支援を実現するうえで,従来の一方向的な音声ガイドには限界がある.本研究では,これらの課題を解決するため,鑑賞者の視線・表情・身体挙動といった非言語的手がかりを基に興味や感情状態を推定し,大規模言語モデル(LLM)と統合して自然な対話を生成する対話型鑑賞支援システム MuseMate を提案する.MuseMate は,鑑賞者の発する非言語的な情報を考慮して問いかけや説明,共感的応答など多様な対話行為を選択し,鑑賞を対話型で進める相棒(Mate)''として振る舞うシステムである.本稿では,MuseMate の基本コンセプト,システム構成,および非言語理解と対話生成の統合設計について述べ,美術館における対話型鑑賞支援の新たな可能性を示す.
Links
DOI: https://www.interaction-ipsj.org/2026/program/#interactive3
PDF: https://cocolab.jp/publication/files/202603_Interaction_yukimat.pdf
学会参加ブログ: https://note.com/taito_yoshimura/n/n575b26416e6a
BibTeX
code:references.bib
@inproceedings{bib:yukimat_musemate_interaction2026,
author={松田裕貴 and 鳥垣耀平 and 渡邉洸},
title={美術鑑賞者の視線を考慮する対話型鑑賞支援システム「MuseMate」の開発},
booktitle={情報処理学会インタラクション2026},
year={2026},
pages={1157--1162},
url={https://www.interaction-ipsj.org/2026/program/#interactive3}
}
https://scrapbox.io/files/696854949dca279cb00b029b.png
▼ ポスター
https://scrapbox.io/files/69a5b63ef1c53c17321f597d.png
▼ 発表の様子
https://scrapbox.io/files/69aa73a9f1c53c173226eb54.png
https://scrapbox.io/files/69aa73daf1c53c173226ebd1.png
Category
Domestic Conference Paper(国内研究会)
Collaborative Project(共同研究)
Conference
Interaction2026
Project
MuseMate
Keywords
Museum(博物館)
Spoken Dialogue System(音声対話システム)
Large Language Models(大規模言語モデル, LLM)
Visual Thinking Strategies(対話型鑑賞, VTS)
Eye Tracking(アイトラッキング)
Gaze Tracking(視線トラッキング)
Collaborating Organization
DFKI(ドイツ人工知能研究センター)