BERT
Bidirectional Encoder Representations from Transformers
Googleが開発した事前学習モデル．Transformerのエンコーダを利用している．
MLMとNSPを用いて事前学習を行う．
MLMでは文全体構造は見えているため，時系列的な学習を行う言語モデルより強力であると期待される．
さまざまな応用がある
品詞タグ付け
固有表現解析
SQuAD