KDD2022 TARNet: Task-Aware Reconstruction for Time-Series Transformer
#kdd #2022 #time-series #transformer #classification
Conference / Journal: KDD
Year: 2022
Group/Author: Ranak Roy Chowdhury , Xiyuan Zhang , Jingbo Shang , Rajesh K. Gupta , Dezhi Hong
URL: https://dl.acm.org/doi/10.1145/3534678.3539329
memo:
Transformer-basedの時系列タスクにおいて、マスキングをかけマスキングされた値を予測することでrepresentation learningを行う手法が主流となっている。
モデルが重視している部分をマスキングするようなdata-drivenなマスキング手法の提案。
具体的には、Transformer-Encoderのself-attention mapを用いてそこで重要度の高いタイムスタンプに重点的にマスキングをかけるように調整。End-taskと同時に学習する必要があるためRepresentation Leaningではないかな？？
https://scrapbox.io/files/63105c6caadf1d001d1699c1.png