Gradient Boosting
勾配ブースティング
なのでアンサンブル学習に分類される
回帰にも分類にも使われる
特徴
深さが浅い(1~5)かわりに、複数持つ
浅いので省メモリで予測が速い
個別のかんたんなモデルを弱学習機という
デフォルトではランダム性が無い代わりに、強い事前枝刈り
ランダムフォレストに比べて、パラメータ設定の影響を受けやすい
正しく設定されていれば強い
関数フィットや分類問題のテクニック
弱い予測モデルでもうまく学習できるというメリットが有るため？
ブースティングは逐次的に弱学習器を構築していく手法です．逐次的というのは，弱学習器を1つずつ順番に構築していくという意味です．新しい弱学習器を構築する際に，それまでに構築されたすべての弱学習器の結果を利用します．そのためすべての弱学習器が独立に学習されるバギングと比べると，計算を並列化できず学習に時間がかかります．
各ステップ内でやることは，ようするに損失関数の最小化問題です．これだけ切り出せば，通常の最適化問題とそれほど大きくは変わりません．最適化問題でよく使われる最急降下法やニュートン法なんかをまとめて，勾配降下法ということができます．勾配ブースティングでやっていることは，各ステップのパラメタ最適化の際に，勾配降下法を用いているというだけのことです．