Transformer

自然言語処理 (NLP) のタスクで成功している機械学習モデルの一種

2017 年に Google の研究者によって提案された、深層学習において重要なアーキテクチャの一つ

特徴は、時系列情報を処理する従来のモデルに比べ、文脈の長距離依存関係を考慮しやすく、精度が高いこと

アーキテクチャ

エンコーダとデコーダから成る

エンコーダ : 入力された文章をベクトル表現に変換

デコーダ : そのベクトル表現を元に、出力する文章を生成

Attention Mechanism という仕組みを用いて、文脈を理解し、文章を生成

NLP タスクの他にも、音声処理や画像処理の分野でも応用されている

Transformer に基づくモデルの例

参考文献