日時エンコーディング
文章中の場所をPositional Encodingで埋め込むことができる
時間軸上の一点も同様に埋め込める
人間にとって自然な周期がいくつかあるからそれを採用した方が良いのでは
24時間
1週間(7倍)
28日(4倍)
365日(13倍)
12年(12倍)
144年(12倍)
適当に間を等比級数的に分割しても良い
Twitterやブログなどでの自分の過去のアウトプットをコーパス化する
その際に、日時がわかるものに関して日時を捨てる必要はない
学習データに混ぜ込みたい