一般化加法モデル
逆に言うとGLMは、GAMにおいて$ f(\cdot) が一次の線形関数である場合の特殊形
$ g(E[Y]) = \beta_0 + f_1(x_1) + f_2(x_2) + \cdots + f_p(x_p) の形で、responseをそれぞれの説明変数の非線形関数の和としてモデル化する
$ g(\cdot) はリンク関数
恒等・logit・logなど、応答変数の分布に応じて選ぶ
非線形関数$ f_j(\cdot) はあくまでもそれぞれの説明変数に対して独立
複数の説明変数を同時にとる非線形関数ではない
交互作用は基本的に含まれない
必要であれば$ f_{jk}(x_j, x_k) のような二変数項を明示的に追加できる
非線形関数は任意の関数系を取ることが出来る
多項式、スプライン、平滑化スプライン、ニューラルネットなど
実用上はペナルティ付きスプラインが標準
平滑化の度合いが肝
overfitもoversmoothingもよくない
メリット
説明変数それぞれに対して非線形関数が独立なので、解釈しやすい
$ x_j を変えると$ f_j(x_j) はどのように変化するか？
二次元でプロットできる
線形モデルより柔軟、ニューラルネットより解釈可能
次元の呪いを回避：$ p 次元の平滑化問題を$ p 個の1次元問題に分解
注意点
交互作用はデフォルトでは捉えられない
concurvity（多重共線性の非線形版）：説明変数同士が滑らかな関数で予測し合える場合、各$ f_j の推定が不安定になる
データの端では分散が大きくなりやすい（境界効果）