バッチ推論
llama.cpp
https://github.com/ggerganov/llama.cpp/tree/master/examples/server#api-endpoints
llama-cliで動くやつはBatchありそう
引数としてバッチの設定項目あり
https://github.com/ggerganov/llama.cpp/issues/2813
How does one use this batched inference?
下記ふたつの設定が必要とのこと
cont-batching
enable continuous batching (a.k.a dynamic batching) (default: enabled)
(env: LLAMA_ARG_CONT_BATCHING)
--parallel
number of parallel sequences to decode (default: 1)
(env: LLAMA_ARG_N_PARALLEL)
https://github.com/ggerganov/llama.cpp/discussions/4130
それぞれのオプション引数についてどの設定が最も良いかの議論
Pythonから触る場合はllama-cpp-python
https://github.com/abetlen/llama-cpp-python/issues/771
→ まだッス！
Ollama
https://github.com/ollama/ollama/releases/tag/v0.2.0
デフォルトでconcurrencyサポートしたらしい
なのでドカドカ打ち込めばドカドカ返せるイメージ
llama.cppにしてもOllamaにしてもエンドポイントとしてのBatch APIはなく、ドカドカ打ち込みにドカドカ返せまっせのノリか？
vLLMの通常completions APIにドカドカ打ちするイメージ
LangChain
batchはLangChain内で並列実行するようにしてるだけっぽい → Ollamaとかと相性良さそう
裏側はmultiprocessing or concurrent.futures的なイメージ
https://scrapbox.io/files/674ecc7407e7647dbcc09c20.png
https://qiita.com/Tadataka_Takahashi/items/359dc2183c9aab1a9b46
batchとabatchの違い
後者は戻り値がFuture/Promise的になってる
普通にawaitで制御してやれば後者で良さそう
Ollamaドカドカうちやったけどシングルとほとんど変わらなかったのはOllama側のせい？
vLLMとかClaudeだったら同じコードで早くなったので
→ LangChainの性質上ファイルアップロードして結果はファイルダウンロードして...みたいなのと相性悪そう
結論
Batch APIは対応してないケース多いので、とりあえずドカドカ打ちで良さそう
余談
asyncioはNode的な