Skip-gram
概要
ターゲットの単語の周辺に出てきそうな単語を予測する
ある単語が与えられたとき、どういった文章が作れるか考えるようなイメージ
モデルのアーキテクチャ
https://gyazo.com/25c384db42a4f62eff76af4887c87e50
目的関数
以下式を最大化するように学習
$ \frac{1}{T} \Sigma_{t=1}^{T} \Sigma_{-c \leq j \leq c, j \neq 0} \log p(w_{t+j}|w_t)
$ cはウィンドウサイズ
$ w_tはターゲットの単語
$ cが大きいと正解率は上がるが学習時間は伸びる
$ p(w_O|w_I) = \frac{ \exp( \nu'_{w_O} \top \nu_{w_I}) }{\Sigma_{w=1}^{W} \exp(\nu'_{w} \top \nu_{w_I}) }
$ \nu_wと$ \nu'_wは入力と出力の分散表現 $ Wはボキャブラリのサイズ
メモ
周辺の単語からターゲットの単語を予測する
穴あきの文章があったときに入りそうな単語を考えるイメージ
参考文献