tf.stop_gradient

引数に入れたTensorFlow変数以前の計算グラフを隠して逆伝播を止める関数

対象変数を通じて勾配を伝播させたくない場合に利用できる

具体的には，計算グラフとしての導出過程を持つTensorFlow変数を擬似的に定数とみなす仕組みを持つ

言い換えると，順伝播で演算過程を持つ変数を，逆伝播時には定数として後方に0を伝播する

使用例1：勾配を流したくない計算経路がある場合

リカレント層などで勾配爆発を防ぎたい場合

GANなどでモデルの出力を定数として扱いたい場合

使用例2：勾配計算を適用できない経路を隠したい場合

TensorFlow外での演算過程を前に持つ変数

ドキュメント

ーーー

2025/5/1 01:22