Flexgen
https://www.businessinsider.jp/post-265982
2月15日に公開
特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。
つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。