2025.8.8 直線探索におけるWolfe条件
勾配法のアルゴリズムにおいて、ステップサイズ$ \alpha_nを定めるための指標となる条件のこと。
上限値を定めるArmijo条件と、下限値を定める曲率条件からなる。
問題：
$ x_{n+1} = x_{n} + \alpha_n p_n, ~~ s.t. \min f(x)
$ ~~ x_n... 状態を表すベクトル
$ ~~ p_n ... 探索方向を表すベクトル、一般には勾配$ \nabla_x fや共役勾配が用いられる
$ ~~ \alpha_n ... ステップサイズ
Armijo条件（アルミホ条件）
探索方向の直線上で関数値が十分に減少することを要求する条件である。（SD : sufficient decrease condition）
Armijo条件を満足する限り、更新のたびに目的関数は単調減少することが保障される。
得られた$ \alphaはステップサイズの上限を意味する。しかしながら、この条件が満足されているとしても、非常に小さい値を採用すると計算は収束しない／長時間を要する。
式：
$ f(x_n + \alpha p_n ) \leq f(x_n) + c_1 \alpha \nabla f_n^\top p_n
$ c_1 \in(0, 1)によって減少の度合いを調整する。$ c_1が大きいほど大きな減少を要求する。
曲率条件
小さすぎる$ \alphaを除外するための条件であり、ステップサイズの下限を意味する。
（C : curvature condition）
$ \Delta f(x_n + \alpha p_n)\top p_n \geq c_2 \nabla f_n^\top p_k
$ c_2 \in (c_1, 1)
参考