MaA-2025F-3.@2025-04-28T13:00D90
数学モデル（mathematical model）
観測値$ \bm lと求めたい未知量$ \bm xとの関係式があるとき、それを数学モデルという
$ \bm l=\bm f(\bm x)
観測方程式（observation equation）
$ \bm lの残差$ \bm\varepsilonを考慮した数学モデル
$ \bm l=\bm f(\bm x)+\bm\varepsilon
観測方程式の線型化
$ \mathrm d\bm l=\mathrm d\bm f(\bm x)+\bm\varepsilon
$ =\mathrm d\bm x\cdot\bm\nabla\bm f+\bm\varepsilon
$ \implies\varDelta\bm l\simeq\varDelta\bm x\cdot\bm\nabla\bm f+\bm\varepsilon
差分で近似した
$ \varDelta\bm l\simeq\varDelta\bm x\cdot\bm\nabla\bm f+\bm\varepsilonが線型化された観測方程式である
$ \bm x：仮定値、適当な値を入れる
ぐるぐる収束計算を回して$ \varDelta\bm xを小さくする
(既知)$ \varDelta\bm l:=\bm l-\bm f(\bm x)：観測値を仮定値で補正した値
(未知)$ \varDelta\bm x：未知量の補正値
(既知)$ \bm\nabla\bm f：計画行列
必ずしも正則行列でないことに注意
(未知)$ \bm\varepsilon：誤差vector
近似値$ \bm x+\varDelta \bm xが求める未知量となる
観測値$ \bm lの分散共分散行列$ \operatorname E(\bm\varepsilon\bm\varepsilon)を導入する
$ \operatorname E(\bm\varepsilon\bm\varepsilon):=\sigma_{ij}\bm e_i\bm e_j
$ {\sigma_{ij}}^2：観測値$ \bm lの共分散
偶然誤差の時は、共分散が0になるので対角行列となる
$ \operatorname E(\bm\varepsilon\bm\varepsilon)は実対称tensorだから、$ \operatorname E(\bm\varepsilon\bm\varepsilon)=\bm R\cdot\bm R^\topとなる正則行列$ \bm Rが存在する
$ \bm Rを使って観測方程式を正規化する
$ \varDelta\bm l=\varDelta\bm x\cdot\bm\nabla\bm f+\bm\varepsilon
$ \implies{\bm R}^{-1}\cdot\varDelta\bm l=\varDelta\bm x\cdot\bm\nabla\bm f\cdot({\bm R}^{-1})^\top+{\bm R}^{-1}\cdot\bm\varepsilon
各成分の残差の標準偏差を1にそろえる
これにより、分散が小さく信頼できる観測値をより重く評価する、重み付け評価ができる
最小二乗法を用いて、$ {\sigma_\bullet}^2が最小となる$ \bm xを求める
目的関数（objective function）$ J:$ \bm\varepsilonを標準偏差で割って正規化したものの2乗和
$ J=|{\bm R}^{-1}\cdot\bm\varepsilon|^2
$ = \bm\varepsilon\cdot{{\bm R}^{-1}}^\top\cdot{\bm R}^{-1}\cdot\bm\varepsilon
$ =\bm\varepsilon\cdot\bm P\cdot\bm\varepsilon
$ \bm P:=\left(\bm R\cdot\bm R^\top\right)^{-1}：重み行列（weight matrix）
例：2次元の時$ J=\frac{\varepsilon_0}{{\sigma_0}^2}+\frac{\varepsilon_1}{{\sigma_1}^2}となる
$ \Sigma_{\bm\varepsilon}:={\bm P}^{-1}：観測誤差の分散共分散行列（variance-covariance matrix）
誤差が偶然誤差だと仮定した場合、共分散がなくなるので対角行列になる
$ Jが最小になる$ \varDelta\bm xを求めればいい
$ \frac{\partial J}{\partial\varDelta\bm x}=\frac{\partial}{\partial\varDelta\bm x}(\bm\varepsilon\cdot\bm P\cdot\bm\varepsilon)
$ =\frac{\partial}{\partial\varDelta\bm x}((\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)\cdot\bm P\cdot(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f))
$ =2(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)\cdot\bm P\cdot\frac{\partial}{\partial\varDelta\bm x}(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)
$ =-2(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)\cdot\bm P\cdot\bm f\overleftarrow{\bm\nabla}
$ = -2\bm\nabla\bm f\cdot\bm P\cdot(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)
$ \frac{\partial J}{\partial\varDelta\bm x}=\bm 0となる補正値$ \varDelta\bm xを求める
$ \bm\nabla J=0
$ \iff\bm\nabla\bm f\cdot\bm P\cdot(\varDelta\bm l-\varDelta\bm x\cdot\bm\nabla\bm f)=\bm 0
$ \underline{\iff(\bm\nabla\bm f\cdot\bm P\cdot{\bm\nabla\bm f}^\top)\cdot\varDelta\bm x=\bm\nabla\bm f\cdot\bm P\cdot\bm u}
これを正規方程式（normal equation）と呼ぶ
$ \iff \varDelta\bm x=(\bm\nabla\bm f\cdot\bm P\cdot{\bm\nabla\bm f}^\top)^{-1}\cdot\bm\nabla\bm f\cdot\bm P\cdot\varDelta\bm l
よって、最尤推定値$ \hat{\bm x}は
$ \hat{\bm x}=\tilde{\bm x}+\varDelta\bm x
$ =\tilde{\bm x}+(\bm\nabla\bm f\cdot\bm P\cdot{\bm\nabla\bm f}^\top)^{-1}\cdot\bm\nabla\bm f\cdot\bm P\cdot\varDelta\bm l
$ \tilde{\bm x}：$ \bm xの仮定値
となる
#2025-05-12 13:15:34
#2025-04-28 12:37:49