...活性化関数を持っていない場合、ニューラルネットワークがいくつの層を持っていても、それがしていることは線形活性化関数を計算するだけです。だから、隠れ層を持たない方が良いかもしれません。

...線形活性化関数がここにあり、シグモイド関数がここにあるならば、このモデルは隠れ層のない標準的なロジスティック回帰よりも表現力がないことがわかります。

...だから、ここに非線形を投げ込まない限り、ネットワークを深くしても、より興味深い関数を計算していないのです。