ニューラル言語モデルによる個人最適な日本語入力システムの開発
クリエータ：
三輪 敬太（Turing株式会社／東京大学 大学院総合文化研究科 言語情報科学専攻）
高橋 直希（早稲田大学 基幹理工学部 数学科）
PM：岡 瑞起（筑波大学 システム情報系 准教授）
/icons/hr.icon
プロジェクトロゴTシャツ！九鬼琉.icon
AzooKey TシャツいいなIori Takahashi.iconsowawa.icon
今更気づいたけど zenz AI かIori Takahashi.icon
それsowawa.icon
言葉遊びが上手なプロダクトって良いIori Takahashi.icon
スライドのアニメーションも効果的でとてもよいsowawa.icon+1Iori Takahashi.icon
投機的デコーディング、面白いsowawa.icon
従来モデルを使うってところも
面白い>投機的デコーディングに従来のIMEを使って並列に検証nishio.icon
それsowawa.icon
お医者さんも車運転するから駐車を注射にしてしまうのは早計すぎないか。sowawa.icon
むしろ入力しようとしてるシーンが大事だと思うsowawa.icon
前回の会議からずっと使ってるユーザーですochyai.icon
歯医者とアナウンサー、歯科医と司会
個人の情報のプロンプトをたくさん積んだら遅くならないのかな、プロンプトキャッシングするのかなnishio.icon
気になる
あとIMEから個人情報が漏れるてきな話もありそうね。プライバシーの問題sowawa.icon
まあこれに関してはGPT2がローカルで動くのだからいいんじゃない？nishio.icon
たぶん大丈夫sowawa.icon
ファインチューニング遅い話きたsowawa.icon
5gram使うの賢いsowawa.icon
いかに情報を畳み込むのかって話
ここがとても賢いochyai.icon
出舎 -> 遊舎工房
記憶範囲を管理←具体的にどうやるのか気になるIori Takahashi.icon
自分のSNS、書籍60冊分くらいあるのでLLMのコンテキストに乗らない(特殊事例すぎる)nishio.icon
スライドの下の小さい文字の論文を読まないといけない気持ちになったnishio.icon
わかるsowawa.icon
最近簡単に調べられるから箇条に参考文献をつけてしまう𥱋瀨洋平.icon
かな漢字変換用に高性能GPUを買う時代がshudo.icon wsowawa.icon
IMEにGPU要求されるってどんな世界線やsowawa.icon
「いい感じ変換」sowawa.icon
良い
emoi絵文字sowawa.icon
これは天才ochyai.iconsowawa.icon
言い訳は変換だったのかochyai.iconそれsowawa.icon
日報 いい感じでochyai.icon
たしかにIMEって常駐しててどのアプリで何してたかとか知ってるから日報作れるかもねsowawa.icon
社会人語変換してもらおうnishio.icon
もう「肩の上の秘書」がIMEの中にいる時代なんだな〜
それsowawa.icon
LLM、いい感じに新しい入力なのか前の文脈を引き継いだ発言なのかを判断してくれるのすごいなといつも思います𥱋瀨洋平.icon
異次元のかな漢字変換wnishio.iconsowawa.icon
「かな漢字」ではないなw
「いい感じ」変換か
ここまで来ると逆にこれを物理のペンで書けるとか挑戦してほしい𥱋瀨洋平.icon
みたことあるアイコンsowawa.icon
gfxさんコントリビューターにいるtakesako.icon
+1nishio.icon
ここでも連合学習、時代は連合学習sowawa.icon
LLMは文字入力インタフェースの拡張という文脈で捉えられるのかmasahiro doumoto.icon
吉崎さん「お用意」wsowawa.icon
この画面めっちゃいいなsowawa.icon
会社で母国語違う人同士でチャットするのってもはやChatGPT同士の会話みたいになってるけど、これが普及すると人類のコミュニケーションがAzookey同士の会話に取って代わられるみたいになるのだろうか𥱋瀨洋平.icon
まあ間にエージェントいた方がスムーズだよねsowawa.icon
SNSの入力支援システムとして入れておくとギスギスしないSNSとか実現できないですかね！𥱋瀨洋平.icon
MathZenz sowawa.icon
固有名詞が苦手な件nishio.icon
プロンプトにはやはりたくさんは入らない
チューナーで学習すれば固有名詞の変換もうまくいくだろうとのこと
これはこれで他のレイヤーを入れたらなんとかできるんじゃないかなsowawa.icon
個人のSNS、2万ページは例外すぎるsowawa.icon
いやいや、社内グループウェアのログを入れたら社員全員の固有名詞誤変換率が下がるんだよ？個人なのは例外だけど企業としてはあるあるケースでしょnishio.icon
言いたいことはわかるsowawa.icon
IME作る話からIMEっていうインターフェイスを拡張するプロジェクトになったんだなsowawa.icon+1shudo.icon