損失関数
損失関数は，予測モデル（仮説$ h(\bm{x})）がどれくらいの精度を有するかを数値化するための関数である．
仮説$ h(\bm{x}):\bm{x}→yは，入力 $ \boldsymbol{x}から出力 $ yを予測するが，機械学習では，その予測がどれほど良いかを自動的に決定する仕組みが必要になる． そこで，予測値と実際の値を比べて，そのずれを数値として表すために 損失関数$ lが導入される．
損失関数 $ l:\mathcal{Y}\times\mathcal{Y}\to\mathbb{R}は，予測値 $ h(\boldsymbol{x})と正解$ yを入力として受け取り，どれくらい間違っているかを表す実数を返す．
この値が小さいほど予測は良く，大きいほど予測が悪いことを意味する．
このとき，1つのデータ点$ (\boldsymbol{x}, y)に対する予測の良さは，$ \mathcal{L}(\boldsymbol{x}, y; h) := l(h(\boldsymbol{x}), y)と定義される．
これは，「そのデータに対して，その仮説 (h) がどれくらいの損失を出したか」を表す．
損失関数は予測の誤りを定量的に評価するための指標であり，学習ではこの値が小さくなるように仮説$ hを調整していくことになる．