BitNet
https://arxiv.org/abs/2310.11453BitNet: Scaling 1-bit Transformers for Large Language Models
https://github.com/kyegomez/BitNetkyegomez/BitNet
https://arxiv.org/abs/2402.17764The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
大規模な言語モデル向けに設計されたスケーラブルで安定した 1 ビット Transformer アーキテクチャである BitNet を紹介します。
BitNet は、最先端の 8 ビット量子化手法や FP16 Transformer ベースラインと比較して、メモリ フットプリントとエネルギー消費を大幅に削減しながら、競争力のあるパフォーマンスを達成していることが示されています。さらに、BitNet は完全精度の Transformer に似たスケーリング則を示し、効率とパフォーマンスの利点を維持しながら、さらに大きな言語モデルに効果的にスケーリングできる可能性を示唆しています。
https://huggingface.co/shi3z/BitNetWikipedia110Mshi3z/BitNetWikipedia110M
https://github.com/microsoft/unilm/blob/master/bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf
-1,0,1の3値化 →$ log_23≒1.58
Microsoft