kaggle本第7章

第７章　アンサンブル

7.1 アンサンブルとは？

7.2 シンプルなアンサンブル手法 (P.357)

7.2.1 平均・加重平均 (P.357)

オフラインコンペ例

アンサンブルはLightGBM、RandomForest、kNN、Ridgeの4種類のモデルを試した。 最終的にはLightGBMとRandomForestのSeed Averagingをして、それらの重み付き平均を取って提出。無事1位を取った。

上の例はPrivateLBがなくPublicLBでチューンできたため

新しい特徴の効果測定で全訓練データを使う必要はないのではという提言

4分の1のデータで４回平均とるほうが効率的？

時間効率的な話、時間制限ありのオフラインコンペだと効いてきそうな話

random seed averagingをすることによって過剰な学習回数でも精度が落ちない

単一モデルでの学習回数不足・過剰を補う役割を果たす

というのがJackさんの結論

averagingするならlearning_rateを小さくすることにそこまでこだわらなくても良いよという話

n乗平均、対数平均の例

7.3 スタッキング

stackingは過学習しがちな面があるので、GBDTではなく線形モデルを使っている場合が多そうです。(u++さんより)

7.4 どんなモデルをアンサンブルすると良いか？

Santander Product Recommendation(Jackさん)

Owen氏のスライド

Stacking(P.16,17)

blending(P.21,22)

Try to "diverse" model

本で説明されている通りモデルに多様性を持たせる

XGBoostとRandomForestは相性が良いことが経験的に知られている。また、これらにNeural NetworkやSVM, kNNなどを加えるのが良い。これは、XGBoost/RandomForestはTree Baseのために決定境界が特徴軸に平行な矩形になるが、Neural Networkなどは曲線（曲面）となるため（よりdiverseな予測器群のensembleになるため）である。

7.4.4 問題のとらえ方を変える(P. 373)

回帰タスクで、ある値以上とある以下との二値分類タスクモデルを作る

全体を予測するモデルはMAEで一定値以上を予測する場合はRMSE or MSE（大きいほど重きが置かれるため）で目的関数を分ける

最終的な予測は一定値以上・以下の部分は2モデルのアンサンブルでそれ以外は全体予測モデルの予測を使うとか

問題設定は異なるけれど、Eloコンペの外れ値予測のモデルと本質は同じ

土地のみの物件はデータ量が少なく、oofでの精度が悪かった為、augmentationなどを行なって、データ量を増やして土地のみモデルを作るなどして精度を改善した事例

分類タスクだと...

signate土地コンペの、公示価格等の欠損値補完。

これは、制度的に欠損になる特徴で、他の特徴から精度よく予測することができた為、欠損値を補完するのが効果的だった。

7.5 分析コンペにおけるアンサンブルの例 (P. 375)

参考URL