Hyena
Transformerを置き換える新しいHyena（ハイエナ）ってブツらしい。Transformerよりも長いコンテキスト長で、高速に学習できるらしい。H3でもそんな事言ってたやんと思うけど、HyenaはH3の研究を踏まえて、H3だとちょっと精度が下がっちゃってたのを改善したらしい →RT うみゆき@AI研究 https://gyazo.com/31dd153abb2c22e240a1651c6d2f0bd1
1万トークン≒1万文字と仮定して原稿用紙25枚分?wogikaze.icon
そんなに会話続けることは果たしてあるのか
Scrapboxと連携するならそれぐらいはほしいが
Slackの議論全部入れてその中の情報を加工したりしたい基素.icon
「画像認識など文章以外の分野でもTFと同じ性能に達する→今後Transformer一辺倒だったものがHyenaに置き換わっていく可能性も」
100万トークンの世界
「今は非常に素朴なやりとりしかできないChatGPT→人生の友と呼べるくらいに長く付き合える可能性が」
参考