講演スライド作成プロセス

前半

https://gyazo.com/6416fc63963b753fa3db11f6a27ff424

今やってること

https://gyazo.com/cdd2ca54f3d6ce0f09422ac9e5fb53c0

https://gyazo.com/a803956ea00e02f1ef3f7afe2c10417a

ステップ5が終わって8枚の紙ができ、それの頭の2枚のエンコードが終わったところ

付箋は27枚、スライドは42枚

ステップ6に関連していること

ステップ6では一度に1つのシートに注目する

これによって、全体の構成を考えていた時よりも視野が狭くなる。

視野が狭い代わりにより深く考えることができるようになる

人間の脳のキャパシティに限界があるので広さと深さがトレードオフになる

直近のスライドを入力とした、次のスライドの連想

https://gyazo.com/e1b0fddb1e46676a789815732483c8fd

これをどうやって実現するか考える

https://gyazo.com/9c2052fa9eef90b9e01a588b186456fd

素朴なマルコフ文章生成だと次の単語の生成確率を元データでの出現頻度で出す

Nが大きくなるとほとんどの単語列が観測回数0回になってしまう

Nが小さいと、近い単語間の関係しか保存できない

当初、ランダムにDropoutすると考えていた

このタイプだとtとt+1を元に「無視するベクトル」が生まれると考えるのが適当か

この仕組みだとkeyに対してマスクすることしかできない

(t - (t-1))ベクトルが(1, 0, 0, ..., 0)になるような回転をqueryとkeyに掛けることができて、そのあと(0, 1, 1, ..., 1)のマスクをかければ特定方向1次元の削減ができるのでは

1次元だけでいいのか？

軸方向の削減しか許さないこの仕組みの方が、軸に意味が生まれやすくて良いのでは

LSTMの後段に次元削減注意をつけたらいい気がした

https://gyazo.com/37fb5976f7c582ac68fbf083bb7963f8

1枚の付箋が過去の複数スライドに対応

https://gyazo.com/a7816b9809ad62f069ad9d55907e878d

人間が記憶の中から過去のスライドを全部引っ張り出して付箋にできない

必然的にキーワードXだけ書かれた付箋が作られる

これは暗黙的に「過去のスライド」をグループ編成して、表題Xがついているのと同じ状態

1つのスライドは複数の付箋を含みうるし、1つの付箋は複数のスライドを指し示しうる