llama.cppとは何者なのか？
llama.cpp
https://scrapbox.io/files/6596bc18c01dc7002463350f.png
https://www.omrimallis.com/posts/understanding-how-llm-inference-works-with-llama-cpp/
llama.cppの実装を追ったブログ、メチャクチャ分かりやすい
ggml
PythonエコシステムのPyTorchまたはTensorflow に相当する、テンソルの純粋なC++実装
つまりPyTorch実装を全てggmlで書き直そう！と思い立ったのがllama.cppの始まりっぽい
書き直しているので、本家llamaが対応していなくてもApple Silicon対応等を独自で可能
初期実装はgpt-jから始まっている
https://github.com/ggerganov/llama.cpp/issues/33#issuecomment-1465108022
ネットワーク定義はGGMLで書いて、重みは外部から取ってきて割り付けてるっぽい
ggufとの繋がりは？
普通にggmlにリライトしたのは引き続いており、今はモデル形式はggufに移行した
そもそもggufもggml作者が作ったファイルフォーマット
ゲオルギー・ゲルガノフによって作成され、そのイニシャル「GG」はその略称です。
https://mlabonne.github.io/blog/posts/Quantize_Llama_2_models_using_ggml.html
日本だとジョージ・ゲルガノフで良さそう
https://gigazine.net/news/20230313-llama-on-m1-mac/
つまりPyTorchにもモデルフォーマット（binとか）があるように、ggmlにもモデル配布イメージとしてggmlが合ったし、これがggufという新たなフォーマットになったよ〜ってことっぽい
逆に言えばggufファイルフォーマットさえあればPyTorchでモデル読み込みできるように読み込めるイメージ（llama.cppというggmlで実装されたファイルがリポジトリ内にある）
https://zenn.dev/derbuihan/articles/e1b60c180ee938
正確にはllamaアーキテクチャに則ったやつしかムリっぽい？
そんなことはなかった。ggufになって以降は
LLMをWASM上で動かすについてもこちらはggufを実行できていたがWasmEdgeにggmlがポーティングされているから（ggml.cpp）
https://zenn.dev/skanehira/articles/2023-12-16-wasm-llm-how-to-work
本家記事：https://www.secondstate.io/articles/convert-pytorch-to-gguf/
ブラウザで動かしたければ：
llama.cpp使ってgguf形式に変換からのWasmEdgeを使う
onnxに変換してtransformers.jsを使う
goやらpythonのバインディングはcなので経由しやすくて呼び出している感じかな
https://stackoverflow.com/questions/8628326/what-is-the-difference-between-a-wrapper-a-binding-and-a-port
https://github.com/abetlen/llama-cpp-python
Low-level access to C API via ctypes interface.
https://yoshoku.hatenablog.com/entry/2023/04/02/213000
noteに投稿した
https://note.com/kawamou/n/n076231811729
実際にllama.cpp動かしてみたがREADME通り今なら本当にリポジトリcloneしてmakeするだけでOK
今はデフォルトでMetalも有効なってる
モデル導入も簡単でめぼしいモデルのgguf版取ってきてmodels配下に入れてコマンド叩くだけ
-nlgはnumber of GPU layersっぽい。何個GPUにレイヤ置くか