BOFT
https://arxiv.org/abs/2311.06243
Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization
https://boft.wyliu.com/
Project
OFT
に
バタフライ構造
を導入する
バタフライ構造は、高速フーリエ変換のアルゴリズムにインスパイアされた、効率的な情報伝達のための構造である。バタフライ構造を用いることで、直交行列のパラメータ数を対数的に減らすことができる。