GGUF
GPT-Generated Unified Format
GGML/GGMF/GGJTの後継
互換性あり
標準化されたmetadataセットも含まれる
参考
GGML、GGMF、GGJTの後継ファイルフォーマットであり、モデルを読み込むために必要なすべての情報を含むことで曖昧さをなくすように設計されています。 また、互換性を壊すことなく新しい情報をモデルに追加できるように、拡張可能なように設計されています。
GGUFはllama.cppチームによって2023年8月21日に導入された新しいフォーマットです。llama.cpp でサポートされなくなった GGML に代わるものです。 最近はFluxとかのモデルをGGUFにしたりと画像生成でも見かけることが増えた 拡散モデル用にカスタマイズされたDDUFというのがあるらしいnomadoor.icon モデルによっては量子化モデルしか配布してないからマージできない…ってことがあって困ったので量子化解除(dequantize)スクリプトを書いた。morisoba65536.icon
現状メタデータがうまく取り出せずなんか変な文字列が書き込まれたり課題は有り…morisoba65536.icon
配布されてるGGUFのチャットテンプレートが間違ってたのでこれで編集して落としたbsahd.icon