誤差逆伝播法
誤差逆伝播法(バックプロパゲーション)はその名の通り、 ニューラルネットワークの出力と正答データとの差が後のノードに伝播するように計算を行いその重みを調整する手法。
遡って誤差を小さくする手法
誤差逆伝播法は、ネットワークの出力と実際の答え(ターゲット)との差を計算し、その差(誤差)をネットワークを逆向きにたどって各ユニット(ニューロン)に伝え、各ユニットの重みを適切に調整することで、誤差を最小化するプロセスです。
誤差の計算
出力層で、ネットワークの予測(出力)と実際の答え(ターゲット)との間の誤差を計算します。
計算された誤差を使って、出力層から入力層に向かって逆向きに信号を送ります。
この過程で、各ユニットの重みに対する誤差の影響度(偏微分)を計算します。 重みの更新
偏微分を用いて、各重みを調整
このとき、学習率を使って、どれだけ重みを更新するかを決めます。
重みの更新は、誤差を減少させる方向に行われます。