LPU

Language Processing Unit

https://scrapbox.io/files/6626feed91487a0025419ada.png

既存のクラウドベースのトッププロバイダーと比較して、18倍はやい

なぜこんなに早いか？

LPUは、LLMの2つのボトルネックである

計算密度

メモリ帯域幅

を克服するように設計されている。

LPUは、LLMに関してGPUやCPUよりも大きな計算能力を持ちます。これにより、1単語あたりの計算時間が短縮され、テキストシーケンスの生成がより高速になります。さらに、外部メモリのボトルネックを排除することで、LPU推論エンジンはGPUと比較してLLMで桁違いの性能を発揮することができます。

LPUのアーキテクチャに関する詳細な技術情報

2020年

2022年

解説記事

参考