Helpfeelでの質問文の半自動生成の取り組み
daiiz
Heplfeel アーキテクト
ウェブアプリケーションエンジニア
https://gyazo.com/ca14322e5449fb735ee5a979acfabba3
ソフトウェア作家
技術同人誌作家
エンタープライズサーチ Helpfeel
自己解決率を高めるFAQ検索システム
Gyazoでの例
https://gyazo.com/31d10da4e01045ae3dad74279a07341c
FAQ検索システム Helpfeel
様々な業界のサービスでご利用いただいている
検索ユーザー層も幅広い
https://gyazo.com/f6988855020764076ff31549cf487b05 https://helpfeel.com/
文書拡張
https://gyazo.com/4982961641480306d977eb4bfc3391cd https://scrapbox.io/nota-techconf/答えと質問は1対1ではない
Helpfeelの意図予測検索を支える技術のひとつ
展開ヘルプ論文 by テクニカルフェロー/masui/増井俊之.icon ユーザーのことばで検索可能になる
想定質問集を作って待ち構えるイメージ
解くべき問題
必要十分な質問文セットをいかに作るか
機械的に生成できるか？
質問文
テクニカルライターがScrapboxに書く
? (保存|アップロード)された(画像|写真)を(探す|見つける)方法
運用開始後はお客様も編集できる
これが展開されて検索に使われる
https://gyazo.com/e3f912d11bb7ac1b04eefc140eb9cc7f
Helpfeelと機械学習
https://gyazo.com/b469e71a381ac08a6bd8c9cbf5ea0c99
今日は「執筆」にフォーカスした話をします
検索ヒット率を高めるための執筆支援
質問文の作成支援タスク
難解な題材への理解を補助
バリエーション豊かな質問文とその言い換えを提示
有益なものを人間が厳選する
人間とAIで協働していいものを作っていく
全部自動でやろうとしない
よい質問作文、よい言い換えとは
「作文」と「言い換え」
https://gyazo.com/ce2eabd4293b1ce43a520f16fcf098f5
本文中でユニークで重要箇所を特定する
重複を避けるため、他のページの内容に踏み込んではいけない
実は記事セット全体を把握していないと作文できない
意味が変わらない範囲で、カバーできる表現を広げる
実はかなり難しい
デモ
Scrapboxでの編集中に起動
二段階でテクニカルライターを支援
① 本文を理解する
② 質問を生成・拡張する
文章全体から生成
https://gyazo.com/2a40ea4cd859eb4bb2cf72c9b95e493f
特定の記述から生成
https://gyazo.com/5b0a972317aaad4022cdc11877767e16
ChatGPT APIの活用
いい感じのプロンプトを考えればよし
古典的手法の実験で培った勘を生かせる
LLMの研究の最新動向を眺める
創造性のコントロール
生成AIのクリエイティブ度合いを制御は難しい
「ギリギリ許せるライン」をどう伝えるか
プロンプトのテクニック
細かく誘導問題を付ける
例: 「直前に求めたXを用いて、...」
期待する結果を丁寧に説明する
例: 「要約せよ」ではなく「事実は何か？」と問う
例示する
結局一番これが効く気がする daiiz.icon
UI勝負
汎用モデルを使いこなすために
タスクに特化した使い勝手のいいクライアント
生成された大量の選択肢を高速に吟味できるUIがほしい
UI案 v1
https://gyazo.com/8e1298f86279d5e6085591b1be06d6a2
機械生成したものを人間がGood/Badに分類
ライターが選んだ最終的にGood集を正規表現にまとめあげる作戦
厳選したテキストをシードとして選択再生成もできる
AIにフィードバックを与えられるのはよい
やることが多すぎる
UI案 v2
https://gyazo.com/8730bc8025d4fa3e850771a1ce9b1bd3
要約
要約から連想される質問文
良さげな質問文を組み合わせて手作業で調整する手間がある
UI案 v3
https://gyazo.com/28ac0b1dfe54ac9551829eb47e1b43f4
求められる最終的な形式で出力されるのでコピーするだけでOK！
単語レベルでも言い換えできる
https://gyazo.com/a6553f21b1b4d40c6147fb443d799abf
読者層を指定できる
子供
英語話者
製品の購入を検討している人
など
他の切り口から質問文を再生成できる
https://gyazo.com/0bde52f0f8700acf2d7dea1bd730a576
https://gyazo.com/2450aae826f8017e597aca2c3b739932
（残り時間を確認）
ここに辿り着くまでの実験
まとめ
ChatGPT APIの活用
問題設定
プロンプトの考え方
UIの工夫
ChatGPT API以前のMLの基礎知識は役に立つ
機械学習の専門家でなくても挑戦してみよう
試行錯誤の過程が大事
懇親会でぜひ声かけてください！
さらに詳しい実装の話
直近の取り組み