NLP2024 D5-3 衛星画像の時系列変化説明に向けたLVLMの比較
ゴール
衛星画像データの活用
撮影時期の異なる2枚の衛星画像
時系列変化を言葉で説明する
関連研究
画像差異キャプショニング
衛星画像キャプショニング
LVML(大規模画像言語モデル)
2枚以上入力できるモデルは限られている
2枚の画像をどう説明させるか?
All at once プロンプティング
左右に連結
プロンプト
左右に連結された画像だよ
時系列の変化を説明しなさい
課題あり
Step by Step プロンプト
画像ごとに詳細に説明させる
LLMにまとめさせる
Spacial conceptsを説明させるプロンプト
過去の説明だけではなく、今後の予想にも役立つかもしれない
なるほど!yuiseki.icon