2017-09-28
行列や微分へのギャップも埋めておくと、機械が重みを調整する時に「正解とのずれが小さくなる方向に重みをちょっと変更しよう」ってやるのだけども、これを数学語で言うと「『正解とのずれ』を重みで微分して、その微分に学習率を掛けたものを重みに足すことで変更しよう」になるわけですね https://t.co/KfsAXsfv53 T 行列の話。ロジスティック回帰(LR)では条件が15個あったら「重み」なる値が15個あるわけで、これを数学語でいえば「ベクトル」になる。ニューラルネットはLR的なものが複数個集まってるので、仮に10個あるとしたら15x10個の値がある、これを数学語で言えば「行列」になる。 T ついでに言うと入力が256x256の画像とかになったら、重みが256x256x10になるわけです。こういう「数の集まり」を数学語では「テンソル」と呼ぶわけです。 T