文章では決まった場所に決まった単語が出てこない
例1
マンションの価格を予測する際、何番目の数字がどれだけ重要か?を学習させる。
1つ目の説明変数の値は広さ
2つ目の説明変数の値は築年数
3つ目の説明変数の値は駅からの距離、
だが、文章はそうではない。
例2
「昨日(1) 観た(2) 映画(3) は(4) 最高(5) でした(6)」
5番目の「最高」という単語からポジティブな文章と判断できますが、「昨日(1) 映画館で(2) 観た(3) 映画(4) は(5) 最高(6) でした(7)」では、5番目の単語「は」は大きな意味を持ちません。
これらの2つを解決するために、Mikorovらが2010年に、時系列データの予測で利用されていた**再帰的ニューラルネットワーク(Recurrent Neural Network; RNN)を使った言語モデルを提案