02 VL-SensorIDE: VLMを用いた仮想センサIDEによるインタラクション設計の対象拡張と容易化 戸田 壱星(明治大学)，宮下 芳明(明治大学)
https://www.wiss.org/WISS2025/assets/representatives/02.jpg
概要
本研究は，VLMをユーザがプロンプトで再定義できる仮想センサとして活用し，そのままアプリコードへ配線できるIDE「VL-SensorIDE」を提案する．ユーザは，測定値のフィードバックを見ながら「食事の進行度を0-1で返す」といった記述を試行錯誤しながら修正し，新たなセンサを構築できる．これにより，物理センサの設置が困難な対象や，従来の認識モデルでは実装コストが高かった主観的基準・抽象的事象の測定が可能となる．8名の評価では20分で53件の多様なセンサが作成された．本研究の成果は，VLMを仮想センサとしてコーディング環境に直結させることで，センシングの対象を拡張し，その設計と実装の自由度を高める点にある．
参加者メモ・コメント
IDEって何ですか？
Integrated Development Environmen
プログラミングのための統合開発環境のことです！（VS Code, Cursorとか）
査読者に現地でお返事するのは大事だなあ（？） narumi.icon
原稿の方で間に合わなかったので発表の中に含ませていただきました。ありがとうございました！戸田壱星.icon
これ、wissの登壇発表の動画から仮想センサを考えたらどうなるんでしょう？越後宏紀.icon
緊張度を測るとかできるかもですねｗ 宮下芳明.icon
手の震えとか妙な動きとか取れたら面白そうですね越後宏紀.icon
コメントありがとうございます！妙な動きなどニッチにものになればなるほど本システムの柔軟性が活かされると思います戸田壱星.icon
VLM = Vision-Language Model
Audio-Language Modelとかってあったりするんでしょうか
マイクロフォン入力からもう少し高レイヤーな情報を解釈してセンサーとして取得できる、みたいな
「鳥のさえずり音の大きさ」とか
使用しているgemini liveモデルですが、今回はレイテンシを抑えるため音声は除外しているものの、音声入力も可能なので将来的に聴覚モダリティも統合したいと考えています！戸田壱星.icon
質疑
デモやソースコードの公開は予定されていますか？橋本_麦.icon（解決ずみ）
はい！これからアナウンスされます！ぜひ遊んでいただきたいです！（３日目にデモ発表もあります）宮下芳明.icon
わ〜触りたいです！baku89.icon
ありがとうございます！ソースコード配布については現時点で未定ですが、三日目にデモを行うのでよろしければ体験していただけると嬉しいです戸田壱星.icon
むしろ自然言語の方が開発言語として主となると、左ペインにコードを表示しつづける意味とは by 加藤淳junkato.icon
デバッグのためのアイデアはあるか？
プログラミング言語が折角左に出ているので、それを活用する手もあるのかも by 塚田
センサの設計は自然言語ですが、それを活用したコーディングは手動なのでエディタを設置しています。将来的にコーディング自体もLLMが代行してくれるようにすることで完全初心者でもアプリケーションを作成できるように出来ることも検討したいと思います。デバッグについては先行研究に倣って、過去の測定履歴の映像と測定値を時間軸上で見返せるような形がいいのではないかと考えています。貴重なご意見ありがとうございました。戸田壱星.icon