FlashAttention-2
Stanford CRFM
https://tridao.me/publications/flash2/flash2.pdf
@ImAI_Eruel: ２倍以上のスピードで大規模言語モデルを学習できるようになるかもしれません．ハードウェア自体に着目した高速化手法FlashAttentionの新作が出ました．
"FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning"
https://t.co/NAExPjH8YI
ドラゴンボール並みのインフレ
https://gyazo.com/b9bfde2fb1da396dfe85031a105ebe35
#FlashAttention
スタンフォード大学