LoRA
書き途中
#TODO
合ってる?
既にあるモデルの重み$ Wを変えずに差分$ \Delta Wを学習する
$ W'=W+\Delta W
そのままだと元の重みとサイズが同じなので低いランクの積にする
$ \Delta W=BA
推論で重みを修正するのも差分を修正するのも実質同じ
$ W'x=(W+BA)x=Wx+BAx
マージ