過学習
#過適合
過学習とは
観測データに適合しようとしすぎる傾向
重みベクトルの大きさや次元が大きくなった時におきやすい
教師あり学習で得た回帰や分類の予測式が学習データには精度高くあてはまるものの、新規データの予測精度が必ずしも良くない現象
学習データセットに依存しすぎた学習を行ってしまうこと
結果として汎化性能が低下する
なぜ生じるのか?
複雑な分類境界面や回帰曲面などの数理モデルを作って訓練モデルに追従しすぎるから
対策方法
ラベル付きデータの観測データを増やすこと
できるだけ偏りのない観測データとすること
分類境界面や回帰曲面を複雑にしすぎない
モデルを簡素に保つ
正則化項付き損失を最小化する重みベクトルを求める方法もある
正則化と呼ばれる手法を用いる場合もある
参考文献
東京大学工学教程 情報工学 機械学習
著者 : 中川裕志
発行所 : 丸善出版株式会社
基礎から学ぶ人工知能の教科書
著者 : 小高知宏
発行所 : オーム社
ページ : 65
#テーマ5