勾配法を理解する - main-custard

勾配法を理解する

機械学習の基礎を理解しよう

勾配量子化に当たって理解が必要

Federated Learningの統合アルゴリズムを考えるにも必要

関連

勾配法って?

cf. ゼロから作るDeep Learning

パラメータの更新を考える

ここで重みとバイアスがパラメータとする

損失関数が最小になるパラメータを求めたい

重み一つの更新を考える

認識精度の関数は基準にできない

傾きが0になる

離散的な値を出力する

重みの微小な変化を反映できない

同様に,活性化関数にもステップ関数は使えない

勾配の計算に用いる微分

NNの勾配

NNの学習を実装