RWKV
https://gyazo.com/197f45783425d86f507d9ed04a24484f
読み ルワクフ(RwaKuv)(多分)
https://www.rwkv.com/
https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=RepositoriesProject
https://github.com/BlinkDL/RWKV-LMBlinkDL/RWKV-LM
https://wiki.rwkv.com/Doc
https://arxiv.org/abs/2305.13048RWKV: Reinventing RNNs for the Transformer Era
https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradioDemo
RNNでありながらTransformerと同程度の性能を持つ言語モデル
Transformerと違い、コンテキスト長が無限
これは理論的な話で、実際には学習時に使用したトークン数に影響されるため一応1024に設定されている
最近のモデルは4096っぽい
モデル
The Pileで学習
https://huggingface.co/BlinkDL/rwkv-4-pile-7b/tree/mainRWKV-4-PILE-7B
https://huggingface.co/BlinkDL/rwkv-4-pile-14bRWKV-4-PILE-14B
https://huggingface.co/BlinkDL/rwkv-4-worldRWKV-4 World
https://huggingface.co/BlinkDL/rwkv-5-musicRWKV-5-Music
https://huggingface.co/BlinkDL/rwkv-5-worldRWKV-5 World
https://huggingface.co/BlinkDL/rwkv-7-worldRWKV-7 World
https://huggingface.co/BlinkDL/rwkv7-g1RWKV7-G1
派生モデル
Raven
https://huggingface.co/BlinkDL/rwkv-4-musicRWKV-4-MIDI
派生ツール
RWKV-Runner
一番手っ取り早く動かせるGUI
ChatRWKV
Demo : RWKV-4-Pile-14B
WebChatRWKVstichttps://github.com/hizkifw/WebChatRWKVstic
RWKVSTIC
RWKV-LM-LoRA
...
今はllama.cppでも推論できる
性能比較待ちだけどVRAM3GBで動くらしいので革命が起きていると思うwogikaze.icon
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z|note
Linux Foundation AIのプロジェクトになったhttps://lfaidata.foundation/projects/rwkv/
Stability.aiとEleutherAIが研究協力してる
tokenizerが日本語での性能がだいぶ悪い
どうもGPT-2互換らしい