機械学習は統計的に何をやっているか
そもそも機械学習は仮説集合から仮説を取る. 実際にはその集合が分からないのでデータから推測する. この時, 入力の分布から目的の仮説に対する損失をなぜデータから考えて良いかは統計的に示せる 仮説集合より大きな集合h'を取ることを防ぐため, そういう集合の場合には理想の集合より値が大きくなるような関数を考え, その大小関係を制約として入れ込む. これが正則化 機械学習では仮説に対するノルムが決まっており, これを用いてある仮説が理想の仮説に比べて大きすぎるかどうかを判断する ?仮説hに対してノルムが定まっているとある. そうなんだ