思考の結節点2019-10-31

「好奇心モジュール」は現時点では独立したページになっていないが、いずれなるべき

今は単純なユークリッド距離だが、コサイン類似度を使う場合は内積注意と同じ形になる

ベクトルがイコールであるものを除外したのはこれに関連してそう

新しいインプットからもっとも近い過去の記憶をピックアップしてそこにリンクを張るのは、ピックアップするところが「連想」であり、それをストックしている

どうなると好ましいかを記述できれば、方策は獲得できる可能性がある

まだできてないこと

入力Xに対して、もっとも近い記憶Yを見つけることはできているが、僕自身を観察すると僕は「両方を読んで、その刺激で新しいアウトプットをする」をしている、このプロセスはどうすれば実現できるのか

(11/4)

https://gyazo.com/857c98bddda2aea44a7675704de926e6

コンテンツを、元々与えられたのとは違う配列で組み合わせた場合、それに対応するベクトルも当然異なったものになる。

この新たなベクトルからもっとも近いコンテンツを選んで指し示す行為は「コンテンツの新たな組み合わせを入力としてアウトプットをする行為」だ

768次元のDropoutの仕方は2^768通りあるので、現実的に全探索が不可能。XとYがあるDropoutの下で連想されて、その繋がりが有益である場合に、それは「そのDropoutの方法が有益な抽象化である」という示唆をする。

2つの点の接続「XとYの接続」というデータが、一つ上のレイヤーの別のデータ点なので、それもストックされるべきなのだな