12 ユーザの能動的な探索を可能にするDeep Researchシステム 関口 祐豊(SB Intuitions/明治大学),樋口 啓太(SB Intuitions)
https://www.wiss.org/WISS2025/assets/representatives/12.jpg
https://scrapbox.io/files/6930d88883c87e280759ce09.mp4
概要
- 大規模言語モデルを活用したAIエージェントアプリケーションであるDeep Researchは,ユーザに代わって多段階的なウェブ検索を実行し,複数セクションから構成されるレポートを生成するシステムである.従来のシステムでは,ユーザは初期クエリの入力とエージェントが生成したリサーチプランの承認またはコメントのみが可能であり,リサーチ開始後はユーザが結果に至るまで介入できないため,しばしばユーザの関心と乖離したレポートが生成されるという課題があった.本論文では,ユーザが能動的に介入可能なDeep Researchシステム を提案する.提案システムでは,まずユーザのクエリに基づいて複数のリサーチ候補を提示し,ユーザはその中から関心のある候補を複数選択できる.さらに,リサーチ結果に基づいて関連するリサーチ候補の追加や,動的な要約,構造化されたレポート生成機能を提供することで,ユーザは理解を深めながらさらなる探索を進めることが可能となる.ユーザ実験の結果から,提案システムは従来のDeep Researchと比較して,網羅性の高いレポートを効率的に低負担で生成できることが示唆された.
参加者メモ・コメント
エスビーインスティチュートでじゃなくエスビーイントゥイーションズです。
ちなみに樋口もカジュアル面談前日まで間違えてました。
失礼しました!junkato.icon
全く問題ないです!!!!!!!!
/ìnt(j)uíʃən/だから「イントュイション」という感じ?(少なくともiは短母音)(謎コメント)narumi.icon
なぜ不可算名詞Intuitionにsがついているのかは不明です。
不可算名詞でも限定修飾(関係代名詞とか)で絞り込むと可算名詞化する(でもこのケースはそうではない)narumi.icon
Jakob Nielsen
エクリだ〜
おおお、もうちょっと早く知っていたら僕の生成AI本でこの手の問題意識に言及したかもitot.icon
「HCIのためのHCI研究でなく」
アツいjunkato.icon
並列で行うとどの階層のどのタイルを深掘りしていたのか見失ったりはしないかな?
それはありますね。
関連タイルの出力量の制御は重要だと思います。
著者間の回答がconsistentでよかった。
質疑
質問から最終的な回答が出るまでに何分くらい掛かるのでしょうか?
1つの項目Research自体はDeep Researchの手法によっても変わりますが、今回使っているOpen Deep Researchだと、30-60秒で出てきます。結果が出てくると、概要と出力が逐次アップデートされます。
結局従来手法でも並列で探索したら良いのでは感があるのですが、そんなことはない?
従来手法でも並列で自動検索はしています。
どちらかといえば、逐次的にユーザが興味のある項目を選択することの効果なのかなと。
他の人の査読コメントも見たんですけど、逐次的に選択するっていう行為自体に満足する(結果ではなく)って解釈もありえるのかな?選択支持バイアス
Agency的観点からはあり得そうですね。
P23のベースラインとはよくあるDeep Research? narumi.icon
そうです。Open Deep Researchというlangchiainが出しているやつです。Vibe Researchでも内部のエージェントは揃えています。
🙇🙇🙇🙇
Deep Researchって10分くらいほっておくとよしなにいい結果が出るのもメリットだと思うのですが、それとインタラクティブなシステムとの中間的な(例えば1分ごとにチラチラ見る程度にインタラクティブな)システムを作るのって可能でしょうかitot.icon
ある程度最初に方向性が調整できるとあとは手放せるようなシステムはとても興味あります!
「ハルシネーションは起こらないことが証明されました」といったようなことを話していたと思うのですが、そうなんですか?
ハルシネーションが無くできた事例という点での紹介でした.証明のつもりではなかったのですが,言い回しがわかりづらくて申し訳なかったです!YutoSekiguchi.icon
ハルシネーションが起こらないことが証明されたと言う結果は一切ないです。
ユーザ評価でも、結果の信頼性や網羅性については高得点でしたが、信頼性はDeep Researchと有意な差はなかったです。