相互情報量
Pointwise Mutual Information, PMI 定義
$ \operatorname{PMI}(w_1, w_2) = \log_2\frac{P(w_1, w_2)}{P(w_1)P(w_2)}
$ wは単語
$ P(w_1,w_2)は、$ w_1と$ w_2が同時に出現する確率
「the」などの単語は英文中に頻出するので、単に「周辺の単語」のカウントだけでは、求める結果にならない
そこで、単語Aと単語Bが相互の視点で、周辺の単語である場合に数値が高くなるように表現したものが、相互情報量
$ \operatorname{PPMI}(w_1,w_2)=\operatorname{max}(\operatorname{PMI}(w_1, w_2),0)