DFloat11
消費メモリを30%削減すると言う可逆圧縮
可逆圧縮はその実装の都合圧縮率が一意に定まらず、最悪膨張すると言う仕組み上の宿命を抱えているのでおそらくは「最大30%削減」という意味だろうmorisoba65536.icon
現実問題として圧縮したら膨張する場面なら非圧縮で突っ込めばよいので可逆圧縮の最悪パターンは「sizeそのまま(ヘッダの等のメタ情報分だけ微増する)」と考えて実用上の問題はないだろう。
説明を読むとどうやらbf16の指数部が高確率で-1〜1なのでパターン化出来るから圧縮可能だよね?と言うことらしい llm向け、と書かれているがFlux.1が例として挙げられていたり、そもそも仕組み的にはBF16なら何でも良さそうな感じ 現実問題としてFP32からBF16に精度切り詰めて使うようなモデルはほぼLLMやDiTだからTransformerアーキテクチャだよね、て言われるとそうではあるが…