LLMに必要なVRAMサイズの計算
LLMをローカル環境で動かすことは貴族の遊びなのか?
次に、使用する
VRAM
、
GPU
要件を考えてみましょう。パラメータサイズに4byteをかけて、GBに変換してみます。概算ですが大体パラメータサイズ×バイトサイズ(32bitなら4,16bitなら2)必要VRAMがわかるとされています。主に使われているのは4bit,8bit,16bitです。
#ローカルLLM
#FP8
#FP16