次元削減注意
2018-10-22〜2019-11-10まで「記憶と抽象化」というタイトルだったが、各所から言及する際にこのタイトルを思い出せないので適切な名付けではないと判断してリネームした。注意機構に次元削減を入れる話なので次元削減注意。 #記憶 #抽象化
https://gyazo.com/bf90b914f761e941a499d2706d630473
注意機構で記憶から引き出す際に、queryとkeyの両方に同一のDropoutを掛ける
これは実質的に両者を次元削減してから比較することに相当する
概念の類似度は距離ではないで説明した「次元を落として比較」「色々な軸で潰した後での距離を類似度にする」が実現できる
記憶からの想起の際にクエリーとキーの単純な類似性ではなく抽象化した上での類似性での想起が可能
つまりこれアナロジーとか連想に相当する機能では