X-Dart: Blending Dropout and Pruning for Eicient Learning To Rank
著者
Abstract
In this paper we propose X-Dart, a new Learning to Rank algorithm focusing on the training of robust and compact ranking models. Motivated from the observation that the last trees of MART models impact the prediction of only a few instances of the training set, we borrow from the Dart algorithm the dropout strategy consist-ing in temporarily dropping some of the trees from the ensemble while new weak learners are trained. However, dierently from this algorithm we drop permanently these trees on the basis of smart choices driven by accuracy measured on the validation set. Experiments conducted on publicly available datasets shows that X-Dart outperforms Dart in training models providing the same eectiveness by employing up to 40% less trees. メモ
MARTに関して
Multiple Additive Regression Treesのこと
回帰木で森を作るブースティングアルゴリズム
Dartに関して
ニューラルネットのドロップアウトの概念とMARTの繰り返しアルゴリズムを混ぜたもの
CEaVERに関して
MARTのための学習後最適化フレームワークモデル
ランキングの質に影響を与えずに、学習したモデルを効率的にスコアリングできるよう改善
X-Dartの提案
DartをCLEaVERによって改善する方法
木の枝刈り戦略
ロバストでコンパクトなランキングモデルができる
Dartとは異なりCLEaVErに似ている点としては、一貫的に精度にへの貢献が無視できる場合、ドロップが永続的