丹羽 遼吾 (オムロンサイニックエックス/筑波大学),吉田 成朗 (オムロンサイニックエックス),小山 裕己 (東京大学/産業技術総合研究所),牛久 祥孝 (オムロンサイニックエックス)
https://www.wiss.org/WISS2025/assets/representatives/28.jpg
概要
効果的なインタラクション設計には,最適なパラメタの特定が必要である.そのためデザイナは反復的なユーザテストや試行錯誤を行うが,このプロセスは多次元空間における複数の目的のバランスを取る必要があり,時間と認知的負荷を要する.他方,ベイズ最適化等に基づくシステム主導型手法は,次に試すべきパラメタを提示できるが,デザイナが最適化に介入できる機会は限られ,体験を損なう恐れがある.本研究では,自然言語を通じてデザイナと最適化システムの協調を可能にするデザイン最適化フレームワークを提案する.システム主導型最適化と大規模言語モデルを統合し,デザイナが最適化プロセスへ介入しつつ,システムの推論理解を可能にする.実験結果から,提案手法はシステム主導型よりユーザの行為主体感が高く,手動設計に比べて有望な最適化性能を示した.さらに既存の協調型手法と遜色ない性能を発揮しつつ,認知的負荷を低減することが示された.
動画はこちらです!(吉田さんがなんと数日で作ってくださったものです...すごい)
https://youtu.be/Haf2ftUvKUw?si=qxnzqhgjHMDoy2Vp
発表でも少し触れたインターン体験記はこちらです!
参加者メモ・コメント
欲しいパラメタがすぐ手に入る言語能力がどれくらい必要なのか気になります。このままLLMが普及すると「学力は圧倒的に国語や作文力が重要」という時代がくるかもと思いました。itot.icon
International English みたいに AI-suited Languageを学ぶ時代が...(ちょっと違うか)くらもといたる.icon
ryogo_niwa.icon そういった事態は来る気もしますし,実際に指導教官のGPTの使い方を見てるとすでに今もそうなってる気もしますね..ググれないの時代から→GPT使ってもわからないの時代
(全く関係なくて恐縮ですが)ITOT先生のアイコンが🤖(ロボット)に見える
なんだこのアイコン?と思ってクリックすると書籍の宣伝だという仕掛け itot.icon
BOではないですが、After Effectsにはパラメーターのランダマイズ化機能が一時期搭載されていました…(大好きでした)baku89.icon
実際のデザインツールに取り込む際にはこういう感じのUIになる...?
ryogo_niwa.icon 確かにこちらすごくいいですね,参考になります..!
この手の研究ではハルシネーションとかは気にしなくていいんでしょうか itot.icon
ryogo_niwa.icon すごくいいご指摘ありがとうございます!実はLLMは解釈理由でごくたまに出鱈目なことをいうことがありまして,その点は解決が難しかったので,そのまま実験を遂行しました.当時はgpt-4oだったので,今のAPIでやるとやや改善されているかもしれないです(あまり本質的な解決策ではないですが..)
ありがとうございます!これは完全解決を図ろうとしたら苦労しそうですね…
そのうち「ほらもうちょっとなんかふわっとそれっぽく」みたいな指示が理解される未来が来そう…くらもといたる.icon
言語化能力もなんだかんだ言って難しい人には難しい気もするし…
オノマトペで変更指示を出す上司、いましたわ(笑)ソノヤマタカスケ.icon
ryogo_niwa.icon もしかしたら理解される未来が来るかもしれませんね..笑 ありうる方向性として,今は言語だけを入力としていますが,例えば画像での入力とか,それこそオノマトペ専用の処理を入れることで対応できうるとは思います!
ディスプレイが割れる研圧👀
ryogo_niwa.icon ひびくらいは入っていたかもしれません..
仕上がりがわかってるかのように議論が進む、その様子を実感できた経験は非常に重要そうですね hogelog.icon
ryogo_niwa.icon 本当に貴重な経験でした.自分の中の上限が少し上がったような気がしています.
吉田さんのノウハウが詰まった資料、気になる Yuta Sugiura.icon
ryogo_niwa.icon 吉田さんに連絡をするともしかしたら共有してくださる可能性もすごくあると思います..!個人的には吉田さんにHCIの教科書を執筆していただきたい..
質疑