言語モデル
自然言語の発生確率を学習したモデルのこと
自然言語の発生確率とは、次のような確率のこと
https://gyazo.com/cce4870aa5f70adaa19ffbc76c13b67d
「吾輩」の次に「〇〇」が来る確率は何％か？
この〇〇を、あらゆる単語に変えて、それぞれの確率を考える
確率なので全て足すと100%になる
「吾輩」の次に「は」が来た場合、次に「〇〇」が来る確率は何％か？
条件付き確率として表す
「発生確率を学習」とは、世の中にある沢山の文章データから、上記の確率を求めること
確率を求める度にあらゆる文章を数え上げるのは非現実的
単語を数える代わりに、何らかの方法でモデル化する