ガウス過程回帰
- $\mathbb{R}^N\to\mathbb{R}$の関数を学習し、未知の入力に対して結果の推定値とその不確実度を出力する
ガウス過程回帰（GPR）を超ざっくり：
- 何をする？
- 入力 (x) と出力 (y) の関係 (f(x)) を「関数そのものに確率（分布）」を置いて学習します。予測すると 値（平均） と 不確かさ（分散） が同時に出ます。
- 直感（たとえ）
- 「柔らかい板」に観測点（データ）でピンを打つと、板はピン付近でその値に沿うようにたわみ、離れると元の水平に戻ろうとします。近い場所は自信大、遠い場所は自信小。
- これを数式化するのが カーネル（類似度） です。
- 仕組み（3ステップ）
1. カーネル (k(x,x')) を選ぶ（RBF/Matérn/線形など。「似た入力は似た出力」度合いと滑らかさを規定）。
2. 観測 ((X,y)) を入れると、任意の (x_) に対し **予測平均 (\mu(x_))** と 不確かさ (\sigma(x_*)) を計算。
3. カーネルのパラメータ（長さ尺度、ノイズなど）はデータから自動調整（周辺尤度最大化）。
- 何がうれしい？
- 小データに強い／不確かさが出るので 探索と活用（[UCB](/ja/UCB), [Thompson](/ja/Thompson)）に直結。空間補間（クリギング）、時系列、嗜好推定などに有用。
- 限界・注意
- 計算量は (O(n^3))（データ数 (n)）。大規模なら 近似（誘導点、ランダム特徴＝RFF、分割統治）を使う。カーネル選びが性能を左右し、外挿は苦手。
- 数式版（読み飛ばし可）
- 事前：($f \sim \mathrm{GP}(m,k)$)、観測：($y=f(X)+\varepsilon,\ \varepsilon\sim \mathcal{N}(0,\sigma^2I)$)。
予測点 (x_)：
- $\mu = k_*^\top (K+\sigma^2 I)^{-1} y$
- $\sigma^2 = k(x_*,x_*) - k_*^\top (K+\sigma^2 I)^{-1} k_*$
($K_{ij}=k(x_i,x_j),\ k_*= k(x_*,x_i) $)
近似解放
表記揺れ
Google Colab
Gaussian Processes regression: basic introductory example — scikit-learn 0.20.1 documentation
http://www.ism.ac.jp/~daichi/lectures/H26-GaussianProcess/gp-lecture2-daichi.pdf
https://datachemeng.com/gaussianprocessregression/
ガウス過程回帰の基礎
https://www.jstage.jst.go.jp/article/isciesci/62/10/62_390/_pdf
ガウス過程
回帰