凸解析、ルジャンドル変換
共役関数とは
$ φ^*(f)=\sup_{x∈E} {\langle f, x\rangle -φ(x)}
ルジャンドル変換
凸かつ微分可能なとき
$ φ(x)=px +c のc最大を達成するので
傾きの図を考えれば傾きpになる接線になっている
凸性から$ φ の微分は単調増加であり一意
微分可能なら$ p=\frac {dφ}{dx} となるxで極大となる
$ px-φ(x) が最大値で$ φ^*(p) の答えになる
例
$ x^2 \rightarrow \frac 1 2 s^2
Dfは劣微分といい$ f(y)≧f(x)+Df(y-x) を満たす集合と定義する
最大/最小の$ Df である$ (R^n)^* の元を$ Df^+ ,\ Df^-としよう
凸なら劣微分$ Df^+が存在して$ l.s.c. (左半連続) かつ広義単調増加関数になる
不連続なとき
$ φは凸とする また$ φは(恒等的に∞)ではないとする
$ (D^+φ)^{-1}(p)は傾き$ p以下となる最大のxとなり
$ D^+ φ は右連続かつ逆関数$ φ^{-1}(y) を$ \sup\{x∈[a,b]|f(x)≦y\} としたので$ D^+φは広義単調増加になる
youngの不等式
$ f(x)≦φ(x)+φ^*(f)
等号成立はsupを達成するときのみ
$ φ^*が凸かつlsc(下半連続、左連続)である
$ \Leftrightarrow epi \ φ^*=[φ*≦λ]\ on \ E\times R がclosed convexとなる
xを固定すると$ f\rightarrow f(x)-φ(x) が$ E^* 上アフェイン(一次関数) なので$ \sup_i f_i でも凸かつlscが保たれる
$ φ が凸かつlscなら$ φ^* (恒等的に∞)ではなく
またさらにφ(x)はアフェイン連続関数で上から抑えられるなら
$ φ が凸かつlscなら$ φ^{**}=φ
例えば$ kx^2 \leftrightarrow\frac 1 {2k} s^2
例
$ φ :エネルギー関数とすると$ φ^* は歪みに対しる応力となる
$ φ(x)=\frac 1 2 xQx+px+rとすると
(※Q:正定値対称)
$ φ^*(s)=\frac 1 2 (s-p)Q^{-1}(s-p)-r
ロジスティックloss
$ log(1+e^{-tf})
指示関数$ Χ_K と絶対値(ノルム)は共役関係