MLエンジニア不在で機械学習をプロダクトに組み込む挑戦
Helpfeel Tech Conf 2023での発表資料です
Webアプリケーションエンジニア1,2名でML手法を試行錯誤していた時代から、全エンジニアでChatGPT APIを使って生成AIで価値創造していく現在までの流れを話しました。ご清聴ありがとうございました。daiiz.icon 2023/8/20
質問・感想は #helpfeel_tech で！
daiiz
daiiz.icon @daizplus
Heplfeel アーキテクト
ウェブアプリケーションエンジニア
設計、実装、ドッグフーディング
FAQ検索システム Helpfeel
ユーザーを適切な記事に導くために、必要十分な質問文を用意する
https://gyazo.com/4982961641480306d977eb4bfc3391cd
実例
https://help-ja.gyazo.com/
https://gyazo.com/e3f912d11bb7ac1b04eefc140eb9cc7f
HelpfeelとAI
AIで支援できる領域
https://gyazo.com/b469e71a381ac08a6bd8c9cbf5ea0c99
🖊 生成AI関連の機能 ①
Generative Writer
ChatGPTの技術を活用しFAQ記事作成の時間を50％削減する機能を公開 /akiroom/akiroom.icon
https://gyazo.com/27e76fab030867e90f1f69dec76fa1b3
🖊 生成AI関連の機能 ②
意図予測支援ツール
要点を抽出しFAQの検索精度の向上を支援する意図予測支援ツールの運用を開始 daiiz.icon
https://gyazo.com/9b4930f661d578a9de1cd6e64534726b
🔍 生成AI関連の機能 ③
Contact Sense AI
AIのハルシネーションを回避しながら検索精度を30%向上させる「Contact Sense AI」を公開 teramotodaiki.icon
https://gyazo.com/62da5e7c56abd129e527f6fb340a3131
MLエンジニアなしで機械学習と向き合ってきた話
ChatGPT API 登場以前
1人時代 daiiz.icon
2人時代 daiiz.icon/teramotodaiki/teramotodaiki.icon
ChatGPT API 登場
全員時代
1人時代
ChatGPT登場以前
Helpfeelに機械学習の手法を組み込むとしたら？daiiz.icon
古典的なNLP
BERT
T5 (Text-to-Text Transfer Transformer)
手を動かして理解する
当時の技術での限界を書き残す
新技術を入手したときの再開地点になる
例: 古典的なNLP
形態素解析、係り受け解析、意味解析
/daiiz/文脈解析 - 述語項構造・照応・談話構造の解析 -.icon文脈解析- 述語項構造・照応・談話構造の解析
抽出要約と抽象要約
全文検索のスニペット生成
https://gyazo.com/35d8731c1d10ad474f47ad794ce8e022
検索結果での視認負荷が高まっただけ
作文タスクが難しいことを再認識
例: BERTでの検索タスク
文章ベクトルのクラスタリング
質問文集合の大きさと距離の可視化
https://gyazo.com/968098911aac46ec033e8b95c30fad9fhttps://gyazo.com/c7fb3b88b125126b6e596b71a573b927
例: BERTでの生成タスク
基本的な穴埋め問題
/daiiz/BERTによる自然言語処理入門: Transformersを使った実践プログラミング.icon BERTによる自然言語処理入門
類義語を用いた質問文の機械展開
https://gyazo.com/4815f17f0d0af1d3054f4e2cc53b9c0a
人間とAIで協働していいものを作っていく方針に可能性を見い出す
細かく軌道修正
pastak.iconさん主催のエンジニアお茶会で発表
テクニカルフェローmasui.iconさんや他のチームからフィードバックをもらう
満足に説明できないところを炙り出す
https://gyazo.com/912cce5e4fce8e26e21c58f12459fe42
研究室訪問
自然言語処理とAIに関する専門知識の理解
次の一手となるアイデアをもらう
専門外のことに挑戦しているので、細かくLoss評価して軌道修正した方がいい。これはLLMも人間も同じ！
2人時代
/teramotodaiki/teramotodaiki.iconさんが参戦してMLチームメンバー2倍に！！
ML Working Groupが発足
話題の論文を共有
デモを見せあって議論
仲間が増えてやれることが広がっていく
T5への理解が深まる
fine tuningにより質問文の言い換え精度が向上した例
Before / After
Input: 商品が壊れていた。返金してほしい。
https://gyazo.com/b2574f5d97b9c65eb0953b758d33a2d8 https://gyazo.com/b094194a383cf0bbc11bea3e810fa5f3
Input: フリーローンの繰り上げ返済をしたい
https://gyazo.com/cf9e1f855c430e270e354700201373c8 https://gyazo.com/ffcdfeaad6ec8db71844090a9f5b03b6
「手元でできたとて」問題
実運用するメリットはあるのか？ 耐えられるのか？
評価が大変
特殊ケースだけうまくいっている可能性の排除
すべてのFAQで全体的に良くなったのか
運用が大変
モデルのデプロイ
モデルのファインチューニング
業界ごとにモデルを作ったほうが精度が良さそう
最新のデータセットで定期的に作り直さないといけない
ChatGPT API 登場
障壁となっていた問題がほぼ解決
生成される文章の調整と精度保証
→ プロンプト調整
題材ごとのファインチューニング
→ 基盤モデルが優秀なので当面は不要
MLOps
→ REST API呼び出しだけでよい
チャンス到来！！
全員で生成AIを活用
誰でも扱えるようになった。やはりChatGPTは偉大！
ChatGPTの衝撃とプロダクト開発への影響 /akiroom/akiroom.icon
リアル業務でChatGPT APIを使うコツ /teramotodaiki/teramotodaiki.icon
AIとアクセシビリティ /yuiseki/yuiseki.icon
生成AIの使いどころを見極める daiiz.icon
これまでの基礎知識の延長線上にある
製品としての完成度を考える
簡単に扱えるようになったからこそ大事にしたい
UIと馴染んではじめて成功
ML技術だけに注目してはいけない
ユーザーの検索体験を向上するためにどうすべきなのか
一緒に作りましょう！
鋭意開発中の未来
検索のさらなる強化
プロフェッショナル向けの執筆支援
真のチャットボット
このあとのパネルトークをお楽しみに！