TensorRT-LLMによる推論高速化 - NVIDIA AI Summit Japan 2024
https://docs.google.com/presentation/d/1IcBX1DuqnLwhV0JLH1BHxoDou6rgJFZMifmYiSexsqM/edit#slide=id.g3033fa63f78_1_117
https://scrapbox.io/files/673601810ab40e8e25e779ef.png
KVキャッシュ
Grouped Query Attention → Serving爆速に向けた色んなメモに書いてる通り。共通化
PagedAttention → OSのメモリ管理のアナロジー
vLLMとの性能比較とかも。
https://scrapbox.io/files/67360278212999a8449c1974.png
https://zenn.dev/turing_motors/articles/da7fa101ecb9a1
DP: Data Parallel データ並列
TP: Tensor Parallel (Tensor Model Parallel) テンソル並列
PP: Pipeline Parallel (Pipeline Model Parallel) パイプライン並列