Relative Information Gain (RIG)
予測モデルの評価指標の一つ、目的変数Yのエントロピーを $ H(Y) として
$ RIG = \frac{H(Y)-\text{logloss}}{H(Y)}
$ H(Y) = -(p_y\log p_y + (1-p_y)\log(1-p_y)) より
すべての予測値をYの平均値としたときにRIGはゼロ
完璧に当てたときにRIGは1
となる。 Entropy Reductionとも呼ばれる。
データセットそのものの予測しやすさを考慮しているので、異なるデータセットでの評価結果の比較に使える。
例えば運用中のモデルの精度を直近1ヶ月の発生データを使って毎日計算したいときなど。
Normalized Entropy
$ NE = \frac{\text{logloss}}{H(Y)}
とは $ RIG = 1 - NE の関係になる
参考
He, Xinran, et al. "Practical lessons from predicting clicks on ads at facebook." Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. 2014.