XGBoost
XGBoost
GBDT（Gradient Boosting Decision Tree; 勾配ブースティング木）のひとつ
バギングではなくブースティングを使っている
（一般的な）ブースティングとは
学習データセットから、非復元抽出によりサブセットを作り、弱学習器を学習する
これが誤分類したデータを加えた学習データセブセットにより、次の弱学習器を学習する
といった繰り返しにより、誤分類したデータの重みを大きくするようにして学習する
勾配ブースティングでは、予測誤差を次の弱学習器の学習に引き継ぎ、勾配法を用いて誤差を小さくする方向にモデルを調整する
良好な性能を示すことが多く、制約も少ないため、よく使用される（らしい）
ここではイメージだけ・・・
https://gyazo.com/19494c5c614474be7cc0d389a4fc517b
その他のGBDTアルゴリズム
lightgbm
catboost
など
XGBoostの実装
XGBoostのパッケージを利用