KDD2022 Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting
Conference / Journal: KDD
Year: 2022
Group/Author: Zezhi Shao , Zhao Zhang , Fei Wang , Yongjun Xu
memo:
多変量時系列予測モデルのTransformer-basedのフレームワークの提案。
時系列の75%をマスキングしてTransformerでのpretrainingを行い、fine-tuning段階では多変量の関係を捉えられるように変数同士のグラフを生成。
変数同士のグラフ生成は、ノードがあるかどうかをベルヌーイ分布のパラメータで生成し、Gumbel-Softmax reparametrizationを用いることで微分可能にする。そして生成されたグラフをGraph WaveNetを用いて学習
https://scrapbox.io/files/63115e40db62dc0022cb7a96.png