AWS Dev Day 2023 Tokyo General Session #4 LLM LLMのインパクト
インターネットの登場、スマートフォンの登場、その次くらいのインパクトを感じている
ユーザ体験や、ものつくりのプロセスが大きく変化するだろう
プロトタイピングには特に活かせるはず・・・
基盤モデル
OpenCALM
ChatGPTは便利だけど、Latency、コスト、セキュリティの観点で適さないこともある
OpenCALMはそういう時には便利だとおもう、ローカルで動かせるので
GPT-4とかはファインチューニングの詳細が公開されていない
OpenCALMだと自分の好みに合わせてカスタマイズすることができる
CodeWhisperer
コードを書いている最中の情報をAPIに送付する、その背後でLLMが動いている
事前のコードはコンテキストとしてLLMが認識してくれる
コードを提案する際の「リファレンストラッカー」
提案されるコードの出自をユーザに通知する機能
よさそうvvani.icon
Extension Market Place で簡単に導入できる。Builder ID を使うと最も簡単
Panel Discuttion
Positive Impact
Insightをまとめて出してくれる
映画っぽい!
よいアシスタントを得た、という乾燥
OpenCALM
公開したのは?
研究目的
みんなに使ってもらう
アシスタントとしてのLLMは本当に重要と考えている
AIは優しい
「そろそろ自身でお勉強されたほうがよろしいのでは?」みたいなことは絶対言わない
Issueに書いてあるんだからそれ呼んでくれ、みたいなことも言わない
Negative Impact
評価が難しい
広告の事業においては、クリック率がほぼすべて
AIについては?
「良い会話だったか?」の判断は難しい
「嘘をついたか?」の判断も難しい
どうメトリクスを置くか。まったく定まる気がしない。
多様性の有無
ChatGPTは人間の好みにチューニングされている
お好み焼きテスト
生成AIでお好み焼きをいい感じに出せるやつは少ないらしい
そもそもお好み焼き、自体にバリエーションがある
重い
GPU系のインスタンスが必要
サンプルコードだけ見ても一般になじみのない感じ
ここをいかに軽くするか、推論専用チップを作るか、流通させるか、が課題だと感じている