Lagrangeの未定乗数法
等号形拘束条件$ \bm g(\bm x)=\bm0の元で$ \argmax fを求めるときに使える手法 拘束条件$ \bm gを陰函数にして目的函数$ \bm fと合成し、その極値を求めている $ \forall\bm a:
$ \begin{dcases}\bm g(\bm a)=\bm0\\\det\bm\nabla\bm g(\bm a)\neq0\\\bm\nabla f(\bm a)=\bm0\end{dcases}\implies\bm\nabla\bm g(\bm a)=\bm0\lor\exist\bm\alpha:\bm\nabla f(\bm a)=(\bm\nabla\bm g(\bm a))\cdot\bm\alpha
$ \forall m,n\in\N\forall\Omega\in\mathcal O(\mathbf R^{m+n})\forall\bm f:\Omega\to\R^n\forall \bm a\in\R^m\forall\bm b\in\R^n:
$ \begin{dcases}\det\left.\frac{\partial\bm f(\bm x,\bm y)}{\partial\bm y}\right|_{(\bm x,\bm y)=(\bm a,\bm b)}\neq0\\\bm f\text{は連続微分可能}\end{dcases}\implies\exist U\in\mathcal O(\mathbf R^m)_{\ni\bm a}\exist V\in\mathcal O(\mathbf R^n)_{\ni\bm b}\exist!\bm\varphi:U\to V:\begin{dcases}U\times V\subseteq\Omega\\\forall (\bm x,\bm y)\in U\times V:(\bm f(\bm x,\bm y)=\bm 0\iff\bm y=\bm\varphi(\bm x))\\\bm\nabla\bm\varphi(\bm x)=-\left.\left(\frac{\partial\bm f}{\partial\bm y}\right)^{-1}\frac{\partial\bm f}{\partial\bm x}\right|_{\bm y=\bm\varphi(\bm x)}\end{dcases}
2変数の時
(証明うまく書けない)
陰函数定理より$ g(x,y)=0\iff y=G(x)となる$ G:O_{\ni a}\to O_{\ni b}が存在 $ \bm\nabla f(a,b)=0
$ \iff\frac{\partial f}{\partial x}(a,b)=\frac{\partial f}{\partial y}(a,b)=0
$ \implies\frac{\partial f}{\partial x}(a,b)-\frac{\partial f}{\partial y}(a,b)\frac{\frac{\partial g}{\partial x}(a,b)}{\frac{\partial g}{\partial y}(a,b)}=0
陰函数定理の条件$ \frac{\partial g}{\partial y}(a,b)\neq0より分母に置いても問題ない $ \iff\frac{\partial f}{\partial x}(a,b)-\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\frac{\partial g}{\partial x}(a,b)=0
$ \iff\begin{dcases}\frac{\partial L}{\partial x}\left(a,b,\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\right)=0\\\frac{\partial L}{\partial y}\left(a,b,\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\right)=\frac{\partial f}{\partial y}(a,b)-\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\frac{\partial g}{\partial y}(a,b)=\frac{\partial f}{\partial y}(a,b)-\frac{\partial f}{\partial y}(a,b)=0\end{dcases}
$ L:(x,y,\lambda)\mapsto f(x,y)-\lambda g(x,y)とした
$ \implies\exist\lambda:\frac{\partial L}{\partial x}(a,b,\lambda)=\frac{\partial L}{\partial y}(a,b,\lambda)=0
$ \implies\exist\lambda:\bm\nabla L(a,b,\lambda)=\bm0
$ \because\frac{\partial L}{\partial\lambda}(a,b,\lambda)=g(a,b)=0
あれ？陰函数定理使わなかっぞ？takker.icon $ \frac{\partial L}{\partial y}=0もいらないような……
違う。「$ g(x,y)=0のもとで$ f(a,b)が極値となる」$ \iff\exist\varepsilon>0:f(a,b)=\max f^\to(B_\varepsilon((a,b))\cap g^\gets(\{0\}))\lor f(a,b)=\min f^\to(B_\varepsilon((a,b))\cap g^\gets(\{0\}))だから、$ \bm\nabla f(a,b)=0から出発するのがそもそも間違い
$ \begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\\exist\varepsilon>0:f(a,b)=\max f^\to(B_\varepsilon((a,b))\cap g^\gets(\{0\}))\lor f(a,b)=\min f^\to(B_\varepsilon((a,b))\cap g^\gets(\{0\}))\end{dcases}
$ \implies\begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\\exist\varepsilon>0:B_\varepsilon((a,b))\subseteq g^\gets(\{0\})\land(f(a,b)=\max f^\to(B_\varepsilon((a,b)))\lor f(a,b)=\min f^\to(B_\varepsilon((a,b))))\end{dcases}
$ \because g^\gets(\{0\})は開集合だから距離位相の定義より$ \exist\varepsilon>0:B_\varepsilon((a,b))\subseteq g^\gets(\{0\}) これと$ \max B\in A\subseteq B\implies\max A=\max Bを使った
$ \iff\begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\\exist\varepsilon>0:B_\varepsilon((a,b))\subseteq g^\gets(\{0\})\land(f(a,b)=\max f^\to(B_\varepsilon((a,b)))\lor f(a,b)=\min f^\to(B_\varepsilon((a,b))))\\G:O_a\to O_b\\g^\gets(\{0\})\supseteq O_a\times O_b\ni(a,b)\end{dcases}
$ \implies\begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\\exist\varepsilon>0:B_\varepsilon((a,b))\subseteq O_a\times O_b\land(f(a,b)=\max f^\to(B_\varepsilon((a,b)))\lor f(a,b)=\min f^\to(B_\varepsilon((a,b))))\\G:O_a\to O_b\end{dcases}
$ \because O_a\times O_b\supseteq B_\varepsilon((a,b))\ni(a,b)となる$ \varepsilonに置き換えた
いや、こんな$ B_\varepsilon((a,b))は存在するのか？takker.icon
おそらくできないことはないと思われるが……
$ \max B\in A\subseteq B\implies\max A=\max Bも使った
$ \implies\begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\\exist\varepsilon'>0:B_{\varepsilon'}(a)\subseteq O_a\land(f(a,G(b))=\max (f(x,G(x)))^\to(B_{\varepsilon'}(a))\lor f(a,G(b))=\min (f(x,G(x)))^\to(B_{\varepsilon'}(a))\\G:O_a\to O_b\end{dcases}
$ B_{\varepsilon'}(a)\subseteq\{x\in\R|\exist y\in\R:(x,y)\in B_\varepsilon((a,b))\}となる$ \varepsilon'をとった
これで、$ x\mapsto f(x,G(x))に極値があるという論理式を出せた
$ \implies\begin{dcases}g(a,b)=0\\\frac{\partial g}{\partial y}(a,b)\neq0\\(f(x,G(x)))'(a)=0\\G:O_a\to O_b\end{dcases}
$ \implies\begin{dcases}g(a,b)=0\\\frac{\partial f}{\partial x}(a,b)-\frac{\partial f}{\partial y}(a,b)\frac{\frac{\partial g}{\partial x}(a,b)}{\frac{\partial g}{\partial y}(a,b)}=0\end{dcases}
$ \iff\begin{dcases}g(a,b)=0\\\frac{\partial f}{\partial x}(a,b)-\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\frac{\partial g}{\partial x}(a,b)=0\end{dcases}
$ \iff\begin{dcases}g(a,b)=0\\\frac{\partial L}{\partial x}\left(a,b,\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\right)=0\\\frac{\partial L}{\partial y}\left(a,b,\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\right)=\frac{\partial f}{\partial y}(a,b)-\frac{\frac{\partial f}{\partial y}(a,b)}{\frac{\partial g}{\partial y}(a,b)}\frac{\partial g}{\partial y}(a,b)=\frac{\partial f}{\partial y}(a,b)-\frac{\partial f}{\partial y}(a,b)=0\end{dcases}
$ L:(x,y,\lambda)\mapsto f(x,y)-\lambda g(x,y)とした
$ \implies\exist\lambda:\frac{\partial L}{\partial x}(a,b,\lambda)=\frac{\partial L}{\partial y}(a,b,\lambda)=\frac{\partial L}{\partial\lambda}(a,b,\lambda)=0
$ \because\frac{\partial L}{\partial\lambda}(a,b,\lambda)=g(a,b)=0
$ \implies\exist\lambda:\bm\nabla L(a,b,\lambda)=\bm0
勾配vectorの図がわかりやすい
$ f,gの勾配vectorが並行になる点が極値の候補
厳密な証明