Skip-gram
CBOW と比べて、少ないデータで精度が上がる
word2vec のモデルの一つである Skip-Gram について
https://gyazo.com/8f3ae4be009140fe4ee63a038ff0c2f3
この図のように、隠れ層は一つ。
あるタスクを実行するために学習するのニューラルネットワーク
隠れ層の重みを学習する!
この重みのことを単語ベクトルという
あるタスクとは
Skip-gram
ある単語を入力として与えたとき、その前後にどんな単語が現れやすいか?を予測
ウィンドウサイズ $ C
code:sentence.txt
I want to eat an apple every day.
eat の周辺語をいくつまで見るか?を示す数字
教師あり学習
入力
ある単語(eat)
出力
ある単語(apple)
参考
ゼロから作る Deep Learning 2