MLM
Masked Language Modeling
この課題では、BERTに「一部の単語をMASKという別の単語で置き換えた文」を入力します。BERTは入力文の単語の順番から文脈を考慮することで、MASKで置き換えられる前の単語を予測します。 例えば、「私の好きなスポーツは野球で、いつか本場のアメリカで観戦してみたい。」の「野球」の部分がMASKに置き換えられた入力文をBERTに入力した場合、前後の「スポーツ」、「アメリカ」、「観戦」などの単語の並びから、MASKで置き換えられた単語が「野球」であることを予測します。BERTはうまく予測できるように学習を行うことで、単語に対応する文脈情報を獲得できます。