RWKV
https://gyazo.com/197f45783425d86f507d9ed04a24484f
読み ルワクフ(RwaKuv)(多分)
https://www.rwkv.com/
https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=RepositoriesProject
https://github.com/BlinkDL/RWKV-LMBlinkDL/RWKV-LM
https://wiki.rwkv.com/Doc
https://arxiv.org/abs/2305.13048RWKV: Reinventing RNNs for the Transformer Era
https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradioDemo
RNNでありながらTransformerと同程度の性能を持つ言語モデル
Transformerと違い、コンテキスト長が無限
これは理論的な話で、実際には学習時に使用したトークン数に影響されるため一応1024に設定されている
モデル
The Pileで学習
https://huggingface.co/BlinkDL/rwkv-4-pile-7b/tree/mainRWKV-4-PILE-7B
https://huggingface.co/BlinkDL/rwkv-4-pile-14bRWKV-4-PILE-14B
https://huggingface.co/BlinkDL/rwkv-4-worldRWKV-4 World
https://huggingface.co/BlinkDL/rwkv-5-musicRWKV-5-Music
https://huggingface.co/BlinkDL/rwkv-5-worldRWKV-5 World
派生モデル
Raven
https://huggingface.co/BlinkDL/rwkv-4-musicRWKV-4-MIDI
派生ツール
RWKV-Runner
一番手っ取り早く動かせるGUI
ChatRWKV
Demo : RWKV-4-Pile-14B
WebChatRWKVstichttps://github.com/hizkifw/WebChatRWKVstic
RWKVSTIC
RWKV-LM-LoRA
...
性能比較待ちだけどVRAM3GBで動くらしいので革命が起きていると思うwogikaze.icon
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z｜note