汎化誤差
関数ｆの汎化誤差$ R(w)とは
$ (f(x_{未知})-y_{未知})^2=(y_{未知}-w^τx_{未知})^2のある分布の上での期待値. 汎化誤差を直接導くことはできない。（もともとの分布が未知だから。）
汎化誤差が小さいことを、「汎化能力が高い」とも言います。
汎化誤差は、バイアス、バリアンス、そしてノイズの3要素に分けることができます。
バイアス
バイアスは、予測モデルが単純すぎることが原因で発生します。
バイアスが大きければ、精度の高い予測を出すことはできません。
バリアンス
バリアンスは逆に、予測モデルが複雑すぎることが原因で発生します
バリアンスは、「データが変わることによって発生する誤差」とみなせます。
去年のデータを鵜吞みにして、すごく複雑な予測を出してしまうと失敗してしまうということです。
過去のデータを重視しすぎてしまう失敗のことを「過学習」とも呼びます。 過学習が起こると、過去のデータへの当てはまりはとてもよくなりますが、まだ手に入れていないデータ、あるいは未来のデータへの予測精度は落ちてしまいます。すなわち、汎化誤差が大きくなってしまいます。
ノイズ
ノイズは、どうやっても減らすことができない誤差のことです。
これが残ることは仕方ありません。