ガウス過程回帰
nishio.icon
$ \mathbb{R}^N\to\mathbb{R}の関数を学習し、未知の入力に対して結果の推定値とその不確実度を出力する
GPT5.icon
ガウス過程回帰（GPR）を超ざっくり：
何をする？
入力 (x) と出力 (y) の関係 (f(x)) を「関数そのものに確率（分布）」を置いて学習します。予測すると 値（平均） と 不確かさ（分散） が同時に出ます。
直感（たとえ）
「柔らかい板」に観測点（データ）でピンを打つと、板はピン付近でその値に沿うようにたわみ、離れると元の水平に戻ろうとします。近い場所は自信大、遠い場所は自信小。
これを数式化するのが カーネル（類似度） です。
仕組み（3ステップ）
1. カーネル (k(x,x')) を選ぶ（RBF/Matérn/線形など。「似た入力は似た出力」度合いと滑らかさを規定）。
2. 観測 ((X,y)) を入れると、任意の (x_) に対し **予測平均 (\mu(x_))** と 不確かさ (\sigma(x_*)) を計算。
3. カーネルのパラメータ（長さ尺度、ノイズなど）はデータから自動調整（周辺尤度最大化）。
何がうれしい？
小データに強い／不確かさが出るので 探索と活用（UCB, Thompson）に直結。空間補間（クリギング）、時系列、嗜好推定などに有用。 限界・注意
計算量は (O(n^3))（データ数 (n)）。大規模なら 近似（誘導点、ランダム特徴＝RFF、分割統治）を使う。カーネル選びが性能を左右し、外挿は苦手。
数式版（読み飛ばし可）
事前：($ f \sim \mathrm{GP}(m,k))、観測：($ y=f(X)+\varepsilon,\ \varepsilon\sim \mathcal{N}(0,\sigma^2I))。
予測点 (x_)：
$ \mu = k_*^\top (K+\sigma^2 I)^{-1} y
$ \sigma^2 = k(x_*,x_*) - k_*^\top (K+\sigma^2 I)^{-1} k_*
($ K_{ij}=k(x_i,x_j),\ k_*= k(x_*,x_i) )
近似解放
表記揺れ
https://gyazo.com/9e101051e08bd6bf763b04f74db850df
ガウス過程回帰の基礎