単語の分散表現
#機械学習
#NLP
単語の分散表現
単語をベクトルで表す
分布仮説
#分布仮説
distributional hypothesis
単語の意味は、周囲の単語によって形成される
例: I play soccer && I play baseball => play の後には一定の確率でスポーツを意味する名詞が現れる
共起行列
co-occurence matrix
分布仮説に基づいた単語のベクトル表現
カウントベースの手法(統計的手法)
周囲の単語をカウントする
実装:
https://github.com/johnta0/machine-learning/blob/master/nlp/co_matrix.py#L6L25