BERT
Bidirectional Encoder Representations from Transformers
Google製
/miyamonz/自然言語処理の「BERT」とは何か
/miyamonz/BERT
https://ja.wikipedia.org/wiki/BERT_(言語モデル)
従来の自然言語処理は特定のタスクに特化していたものを作っていたが、BERTが出てきて汎用的なモデルができちゃった
2018年頃
教師なし学習
Masked Language Modeling