対数双線形モデル
対数双線形言語モデル
あるcontext cの元での次の単語の出現確率が
$ P(w|c) = \frac{\exp (\phi(w)\cdot c)}{\sum_{w'\in V} \exp (\phi(w)\cdot c)}
となるという言語モデル。$ \phi は適当な単語の埋め込み関数
A. Mnih and G. Hinton (2007)では単なる内積よりもうちょっと高度
https://gyazo.com/4b42aec31043b4fdfd07d353c4ee54ff
https://gyazo.com/12be19af95d085079f65326e8896b110
同様に内積をとってからソフトマックスするのが内積注意(2015) Log Bilinear Language Model
A. Mnih and G. Hinton (2007)
"Three new graphical models for statistical language modelling",
A. Mnih, Y. Zhang, and G. Hinton (2009)
"Improving a statistical language model through non-linear prediction",
Neurocomputing, vol. 72, no. 7-9, pp. 1414 – 1418