ReLU 函數 - .｡oO(さっちゃんですよヾ(〃l

ReLU 函數

rectified linear function。rectified linear unit。rectifier。ramp 函數

$ x_+:=\max\{0,x\}

Heaviside の階段函數による定義$ x_+:=xH(x)=H(x)*H(x)=\int_\infty^xH(\xi)d\xi

Laplace 變換$ {\cal L}\lbrack x_+\rbrack=\frac 1{s^2}

似た函數

logistique 函數 (sigmoid)$ \frac 1{1+e^{-x}}

softplus$ \log(1+e^x)

Gauß 誤差線形函數 (Gaussian error linear units)$ xP({\cal N}(0,1)\le x)

swish$ \frac x{1+e^{-\beta x}}

mish$ \tanh(\log(1+e^x))