NTK
Neural Tangent Kernel
以下に示すようなカーネル
$ k_{\mathrm{NTK}}(x_i, x_j) = E_{\theta \sim \N} \left\langle \frac{\partial f(x_i; \theta)}{\partial \theta}, \frac{\partial f(x_j; \theta)}{\partial \theta} \right\rangle
特に, 入力をhypersphereに限定すると, MLPのNTKは$ h_{\mathrm{NTK}}(\mathbf x_i^\top \mathbf x_j)と内積の形で書ける 幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい)
ただし, 重みの初期化は正規分布から適当にサンプリングしてきたものとする なので, なるだけNTKはシフト不変性があったほうがよい (todo) シフト不変であれば, 任意の座標において同一のカーネルであることが保証される