2025.7.11 ヘッセ行列

ヘッセ行列は多変数スカラ値関数に対して定義される行列である。

戻り値について

code:p1.py

import torch as pt

from torch.autograd.functional import hessian

def func(x):

# return x.item() # NG ... itemメソッドはテンソルの中からfloatを取り出すので×

return x

x = pt.tensor(1) # NG ... 引数はfloatでなければならない、これはintを渡しているので×

hess = hessian(func, x)

関数 hessain はヘッセ行列を戻り値に返す。

戻り値は要素数が１つのテンソル型が求められる。何次元のものでもよい。

引数はfloat型を渡す。後々自動微分などと組み合わせることを考えるとpt.float(32ビット)がよいだろう。

引数について

code:p1.py

import torch as pt

from torch.autograd.functional import hessian

def func(a, b):

return (a + b).sum()

hess = hessian(func, (x, y))

for i, h in enumerate(hess):

print('#', i)

for j in h:

print(j)

code:res.sh

# 0

# 1

渡したのは(2, ) と(1, )のテンソル。返されたのは

0回目：(2, 2)と(2,1)

1回目：(1, 2)と(1,1)

四次元ベクトルの内積を求める関数

$ f({\bf u}) = u_1^2 + u_2^2 + u_3^2 + u_4^2

とすると、

$ H=\left[\begin{array}{cccc}2 & & & \\ & 2& & \\ & & 2& \\ & & & 2\\ \end{array} \right]

code:p.py

import torch as pt

from torch.autograd.functional import hessian

def func(a):

return a@a

hess = hessian(func, x)

print(hess)

'''

'''

ここで、