ICLR2021 Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
#iclr #2021 #multitask
Conference / Journal: ICLR
Year: 2021
Group/Author: Zirui Wang, Yulia Tsvetkov, Orhan Firat, Yuan Cao
URL: https://openreview.net/forum?id=F1vEjWK-lH_
memo:
マルチタスク学習において類似タスクの勾配の類似度は高いという観察
https://scrapbox.io/files/630f80fc8e6eb5001dc07672.png
この観察に基づいて、マルチタスクの学習時に類似タスクの勾配を類似度が正になるように射影する手法 (GradVac)の提案
この手法によってマルチタスク学習（本論文では多言語翻訳モデルによる翻訳タスクなど）での精度が向上
https://scrapbox.io/files/630f82ee66796000233ccf0d.png