word2vec
学習用リスト
O'Reilly Japan - word2vecによる自然言語処理
2014年のものだけど、概観を得るのによい。
絵で理解するWord2vecの仕組み - Qiita
skipグラムでの、入力層、隠れ層、出力層を図解してる。
softmaxからnegative sampling
Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷
数式からみるWord2Vec
応用
コマンドのベクタ表現によるSSHセッションにおける異常検知 - Qiita
入力コマンドごとにベクトル表現をし、SSHのコマンド入力の際に侵入者が入力したコマンド群の1セッションを1センテンスとみなすことで自然言語処理的な発想で入力コマンドのスコアリングを行い異常検知を行う
word2vec、(たくさんのシークエンスから、要素の近いものを当てるタスクで、分散表現を得る(embetting?)は、応用分野が広いので、たくさんありそう。
ビジュアリゼーション
https://ronxin.github.io/wevi/
browserで体感できる。
jsで実装コードが読める。小さなデータ向けにはなるだろうけど。
tutorial
Word2Vec Resources · Chris McCormick
#nlp #ml