概念の類似度は距離ではない
リンゴとトマトは似ています。どちらも赤いです。リンゴと青リンゴも似ています。どちらもリンゴです。ところが、青リンゴとトマトはあまり似ていません。
この問題の解決方法
ベクトル間の距離・ベクトルの類似度をそのまま意味の類似度として扱うのではなく、いろいろな軸で潰した後での距離を類似度にする #軸を潰す https://gyazo.com/6f605fd9a0082f691b3b93c575ccd69e
ベクトルをある軸方向に潰すということは、その軸方向の違いを無視するということ 現状の word2vec によって作られるベクトルの 1 つの軸が「色の違い」のような都合の良い属性を表現しているかは疑問 word2vec はあくまで単語の周辺にどのような単語が出現するかの情報だけを基にベクトルを作っているから
人間の脳内では近いことが行われているのではないか
ランダムにニューロンを選び、その活動を止めて学習をさせる手法 ランダムに選んだニューロンの活動を止める
=そのニューロンが表現していた値を0にする
=ランダムに選んだ軸の方向に潰す