GPT
Generative Pre-trained Transformer: Transformer
Generative Pre-Training
OpenAIが開発した事前学習モデル．
Webから収集した大量のテキストデータに対して教師なし学習を行っている．
Transformerのデコーダと同様にSelf-Attentionを利用しているが，エンコーダはないためSource-Target Attentionはない．