Negative Sampling
word2vec
のような単語埋め込みモデルで用いられる
大規模なデータセットを扱う際に効率的な学習ができるようにする
すべての単語ペアに対して正(隣接する単語)と負(隣接していない単語)を考慮して学習したいが、語彙が非常に多い場合はその計算コストが膨大になる
負のサンプルをランダムに選び、負のサンプルについては低いスコアを与えるように損失関数を最適化する