FlashAttention-2
@ImAI_Eruel: 2倍以上のスピードで大規模言語モデルを学習できるようになるかもしれません.ハードウェア自体に着目した高速化手法FlashAttentionの新作が出ました. "FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning"
ドラゴンボール並みのインフレ
https://gyazo.com/b9bfde2fb1da396dfe85031a105ebe35