過学習
public.icon
= Overfitting
過剰適合
オッカムの剃刀
頭の良さ#5fb66ffd7f4b270000358a88
過学習にならずに汎化性能を獲得している
汎化性能っていうのは「学習モデルへの当てはまりは必ずしも良くないものの未知データ(テストデータ)への当てはまりが良い」
まさにパッシブスキルの「やり方」シリーズなのだ
正則化
「そのモデルの精度、高過ぎませんか?」過学習・汎化性能・交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき
汎化性能をみるためには、学習データのみに対する精度だけではなくて、未知データ(テストデータ)への当てはめを見るようにするべき
モデルの説明変数は必要以上に増やせば増やすほど学習データのシグナルだけでなくノイズにまでフィットしてしまう
交差検証をしよう