word2vec調査
そこまでややこしい構造をしていないと思うのだが、miyamonz.iconが知りたいことを解説している記事を探すのが大変そう
2層の浅いニューラルネットワーク
単語の言語的文脈を再構築するために訓練される
142p
2つの異なる文脈表現
CBOWとskip-gram
2つの異なる最適化の目的関数
negative-sampling
階層的soft-max(hierarchical softmax)
を実装したソフトウェアパッケージ
他も読んだ感じ、前者側の文脈表現のほうがメインで言及されてる
また、利用状況的にはskip-gramがよく使われるっぽい
さらに、最適化関数が2通りあるということはフーンという程度把握しておく
ゼロから作るdeep learning2 が理解に良いmiyamonz.icon