ResNet

劣化

Residual Network（ResNet）は入出力ベクトルを参照する残余関数（Residual Function）を使用してネットワークを再編成したものであり、この方法を使用するとより深いネットワークが構築しやすい【233】。

深いネットワークでは勾配消失（付録A参照）しやすく、一般にCNNでは正規化層を挿入する事で対処している。既にある浅いネットワークを使用して深いネットワークを構築するのではなく、前の層の残余（residual）を使用して劣化問題に対応しているのがResidual Networkの特徴である。

具体的にはネットワークモデルの層H(x)はF(x):=H(x)−xと残余xの分だけ劣化していると仮定し、これから各層において残余xを付与してH(x):=F(x)+xとすれば、ネットワークモデルを補正できるとしている。ネットワークモデルとしては2つの連続した層の出力にこの2つの層への入力を加算すれば良いと言える。