FLで精度が上がらない理由を誤差逆伝播から考える

誤差逆伝播と勾配降下法が原因?

本来の誤差逆伝播

以下を一回のイテレーションで実行?

重みをランダムに選ぶ

それぞれエントロピーを下げる

極小の変化が起こっているだけのため統合可能

これを何回も繰り返す

勾配が全体的に小さくなり,解に近づく

極小な変化を反映し続けるため,問題ない

空間を考える

重みの?エントロピーを下げると少し凹む

これが各地で発生

凹みすぎると他の影響が出る

極小なため大丈夫

もう一方は何だっけ…

連合学習で考える

各クライアントが独自に学習

先の操作を実行

ただし一回ではなく複数回,ローカルで行う

変化は極小でない

重みや勾配を平均化

極小でない変化で平均を取る

それぞれの学習の過程を無視することになる?

極小でない変化を反映してしまい,エントロピーがおかしくなる?

変化は極小ではなく,平均化しても上手くいかない

本当は平均化してはいけないのでは?

学習時点で妙な操作をしているため,そもそも上手く行くはずがないのでは,という話のはず

クライアント数を増やしても誤差が縮まらない原因?

あるいは増やさないと縮まない原因だったか?