PyTorch: retain_graph
PyTorch: retain_graph
backwardした計算グラフを解放せず保持する
複数のlossを持つ(multi-taskな)グラフに使う
lossを足してしまえば一度のbackwardで済む？
Adamなどlossに応じてハイパーパラメータを変えるoptimizerの場合，足すと挙動が変わる？
loss毎に別々のoptimizerを持つべき？ #TODO
RNNで過去の隠れ状態をずっととっておきつつ複数回backwardする場合も使う
普通は一定以前の隠れ状態は定数とみなす(detachする)？計算コスト・メモリコスト的にも．
https://stackoverflow.com/questions/46774641/what-does-the-parameter-retain-graph-mean-in-the-variables-backward-method