Transformer
機械学習モデル
2017年に発表
"Attention Is All You Need"という自然言語処理に関する論文の中で初めて登場した深層学習モデル。
主流だったCNN、RNNを用いたエンコーダ・デコーダモデルとは違い、
エンコーダとデコーダをAttentionというモデルのみで結んだネットワークアーキテクチャ
機械翻訳タスクにおいて
英独翻訳において28.4BLEU,
英仏翻訳において41.0BLEU
最良のBLEUスコアを取得(40以上で高品質とされている)
それまでの学習モデルと比較して、大幅な学習時間の短縮を実現
速いのに精度が高い
機械翻訳などの自然言語処理(NLP)モデルとして紹介された
モデルが簡潔なこともあり、機械翻訳以外の分野でも高い実用性。