ReLU関数
勾配消失問題
への対応として考案された
活性化関数
で，
$ x \gt0
の
$ x
について
$ x
を返し，それ以外では0を返す
関数
．
研究によって様々な派生が生まれている
Leaky ReLU
Parametric ReLU
Randomized ReLU