統計的機械学習の基本的な考え方
統計的機械学習では，入力と出力の関係を表す真の規則は分からないという前提を置く． その上で，入力空間$ \mathcal{X}から出力空間$ \mathcal{Y}への写像として取り得る関数$ hの集まりをあらかじめ仮説集合$ \mathcal{H}として定め，真の関数にできるだけ近い入出力関係を持つ関数を選ぶという課題を考える．
仮説集合に含まれる各関数は，仮説あるいは予測モデルとよばれ，何かしらの入力$ xが与えられたときに出力$ yを予測するものである．
ここで，真の関数の具体的な姿が分からないという前提があるため，入力$ xに対するモデルの出力が真の関数の出力にできるだけ近くなるような関数$ hを観測されたデータ（$ Xと$ Y）を用いて適切に選ぶという課題を解くことになる．