RWKV
https://gyazo.com/197f45783425d86f507d9ed04a24484f
読み ルワクフ(RwaKuv)(多分)
これは理論的な話で、実際には学習時に使用したトークン数に影響されるため一応1024に設定されている
最近のモデルは4096っぽい
モデル
派生モデル
派生ツール
一番手っ取り早く動かせるGUI
...
性能比較待ちだけどVRAM3GBで動くらしいので革命が起きていると思うwogikaze.icon
tokenizerが日本語での性能がだいぶ悪い
どうもGPT-2互換らしい