アンサンブル学習
from 機械学習のアルゴリズム
アンサンブル学習
高精度のモデルを1つ作るのではなく
精度の低いモデルをたくさん作って合体させることで
高精度のモデルを作るのが目標。
精度の低いモデルは弱学習器を使って学習させる。
弱学習機は複雑なモデルを学習させることができないものの
学習スピードが速いため、訓練や予測にかかる時間は少なくて済む。
もっともよく使われるのが決定木。
アンサンブル学習の予測結果決定方法
多数決
主に分類の場合に用いられ一番多かった予測結果が最終的な予測結果となる
平均
回帰や、分類のための確率を計算する場合に使われる。
予測結果を平均して最終的な予測結果とする
加重平均
予測結果のうちどれが重要かをあらかじめ決めておき、その重要度に応じて平均していく方法。
バギング
ランダムフォレスト
ブースティング
スタッキング
勾配ブースティング