SGD関数【torch】 - takalab-lecture-ICP

SGD関数【torch】

説明：確率的勾配降下法にもとづく最適化を行うためのインスタンスを生成する関数。

書式：

torch.optim.SGD( 　 )

主な引数：

引数１：更新を行う対象となるテンソルを含むリスト

lr：学習率を指定するための名前付き引数

戻り値：

SGD型のインスタンス

主要なメソッド：

zero_grad：対象とするテンソルの勾配の値を0で初期化する

step：対象とするテンソルの値を更新する

code:sgd1.py

import torch as pt

import torch.optim as optim

x = pt.tensor(1, dtype=pt.float)

optimizer = optim.SGD(x, lr=0.1)

print(type(optimizer))

print(optimizer)

code:(結果).py

<class 'torch.optim.sgd.SGD'>

SGD (

Parameter Group 0

dampening: 0

differentiable: False

foreach: None

lr: 0.1

maximize: False

momentum: 0

nesterov: False

weight_decay: 0

)

クラス型はtorch.optim.sgd.SGDであり、簡略化のためにSGD型とよぶ。

SGD型のインスタンスは、最適化のための様々なパラメータを内部状態として保持する。