Efficient Estimation of Word Representations in Vector Space
著者
Abstract
We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best performing techniques based on different types of neural networks. We observe large improvements in accuracy at much lower computational cost, i.e. it takes less than a day to learn high quality word vectors from a 1.6 billion words data set. Furthermore, we show that these vectors provide state-of-the-art performance on our test set for measuring syntactic and semantic word similarities. メモ
背景
従来のやり方は、
単語単位で考える
単語の類似性は考慮しない
であった。
シンプルなのは良いが限界がある。具体的には、
スピーチの関連性の自動認識は難しい
機械翻訳タスク
何故かと言うと、データが大きいのでスケールしない
機械学習の発展によって複雑なモデルが可能になり、大規模なデータも扱えるようになってきた
この研究ではNNLMを拡張していく
モデルアーキテクチャ
2つのニューラルネットワークモデルの提案
周辺の単語からターゲットの単語を予測する
穴あきの文章に入りそうな単語を考える
ターゲットの単語の周辺に出てきそうな単語を予測する
ある単語が与えられたとき、どういった文章が作れるか考える
https://gyazo.com/4ac6985da4c3a7d835e0c3b85337ce23