鈴木大慈-深層学習の数理

https://gyazo.com/9eb4355e2d576490e8ed810b29f2d732

元のSlideshareにアクセスするとエラーになる、X/Twitter上なら見れる、キャッシュ？

https://gyazo.com/81c47eba5249bf7a67c78a1f9c059646

わかりやすい具体例として原点からの距離によって値が決まる関数の場合に、4層なら次元数に対して多項式オーダー(ぶっちゃけ線形だと思う)

再生核ヒルベルト空間の考え方でカーネルリッジ回帰を再記述してるけどそこは飛ばす

データに合わせてカーネル関数自体も学習するのが深層学習と解釈できる

https://gyazo.com/559eee2c77c2faabcbfb3bb4388510ed

...

https://gyazo.com/80bc5f45abdf998da8cc85537a1eccd5

ここは飛ばす

関数クラスごとの近似性能

https://gyazo.com/c00662aa291b6c2f43a9bb31b8971516

https://gyazo.com/ab6fcaef4375e2fd5cb35ac9b67ce914

https://gyazo.com/12f8bab940df517a48c17bc1790f6794

https://gyazo.com/71e2a50728f2efb8eb73288bcf086f6e

適応的手法

深層学習

スパース推定

あらかじめ用意するものがたくさんになりすぎると現実的に無理ってなるんだな

https://gyazo.com/0e64538bcf2dbcaa22bc9756d52f21cc

https://gyazo.com/b109a40895945675dc80d9a21dd3262d

https://gyazo.com/b8de7edc8b5ffb8bdc6e4645cf40d904

https://gyazo.com/1e444edc999820b1513eed7128bc05a0

https://gyazo.com/b6700e9f6e38b23a4a2d998ff3096101

https://gyazo.com/417c9adfc08d6f1968519f715a76e1d9

https://gyazo.com/73f00defbc6ede271105ea5fa0fe2372

https://gyazo.com/ff1bdd3dac6e15926b05534bd189f812

https://gyazo.com/e81cdac1d099c519afd93056d04d7ca8

https://gyazo.com/d7195cb5e0d60b3058f8715d9a77ec60

Mean Field

https://gyazo.com/38423f31f4c743520a0977cece288c06