アンサンブル学習

バギング

訓練データをブートストラップサンプリングすることで、訓練データのデータセットをいくつか作り、それぞれモデルに学習させるもの

ブースティング

モデルを１つずつ順番に学習させていく

モデルが、自分の学習結果を次のモデルに共有する、というのが基本的な考え方

前モデルの情報を踏まえた上で、次モデルは学習するので、だんだんと精度が向上していく

１つのデータセットに対して複雑度を上げて学習して発生する過学習の状態とは異なる

複数のデータセットに対して、になるため、訓練データが異なるから、最適化されるわけではない

ブートストラップサンプリングとは

全データ（n個）の中から、復元抽出によりn個のデータをランダムにサンプリングする方法

復元抽出とは

2個以上のデータをランダムにサンプリングする際に、過去に選択したデータも選択対象に含めるサンプリング方法

したがって、同じデータが何度も選ばれたり、一度も選ばれなかったりする

もともと１セットの表データから、さまざまなパターンの表データを作成することができる