nonlinear

まず第一に、なぜ活性化関数を使うのかを明確にしておいた方が良いでしょう。

活性化関数は、ある層のノードの出力を次の層に伝搬させるために使用します。活性化関数はスカラーからスカラーへの関数であり、我々はニューラルネットワークの隠れニューロンに活性化関数を使用して、ネットワークのモデルに非線形性を導入します。つまり、もっと簡単に言えば、活性化関数はネットワークに非線形性を導入するために使われているということです。

では、非線形性を導入することには何の意味があるのでしょうか？それ以前に、非線形性とは、入力の線形の組み合わせから出力が再現できないことを意味します。したがって、ニューラルネットワークに非線形活性化関数がなければ、たとえ何百もの隠蔽層を持っていても、単層パーセプトロンのように振る舞うことになります。その理由は、どのような方法でそれらを合計しても、直線的な出力しか得られないからです。

いずれにしても、より深いレベルの理解のためには、このMediumの投稿とAndrew Ng氏自身によるビデオを見ることをお勧めします。

アンドリュー・ングのビデオから、私は以下のいくつかの重要な部分を言い換えてみましょう。