KDD2022 Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting
Conference / Journal: KDD
Year: 2022
Group/Author: Weiqi Chen , Wenwei Wang , Bingqing Peng , Qingsong Wen , Tian Zhou , Liang Sun
memo:
https://scrapbox.io/files/630dd65158bc360023172d4f.png
上記のような異なる周波成分をTransformerの位置Encodingで捉えるための手法を提案: Quaternion Transformer
主な特徴は
・入力値から位置を表現するQuaternionを抽出し学習
具体的にはConvolutionを用いて位相成分と集は成分を取り出すイメージ
https://scrapbox.io/files/630dd6f1177ec8001d813668.png
・トレンド成分が大きく変化しないような正規化層の導入
・Decouplingというやり方で、入力値を圧縮しdot-product-attentionの計算量を削減
https://scrapbox.io/files/630dd722df29620023aa59d1.png