性能評価
from 機械学習
性能評価
回帰モデル
回帰モデルの性能は基本的に
出力と正答の数値の差分である予測誤差によって評価できる。
この予測誤差をどのように集計するかの違いがある。
R^2（決定係数）
平均誤差を正規化することで得られる指標で
全く予測できてない場合0
すべて予測できている場合を1として大きいほど良い性能であることを示す。
予測する値のスケールによらない指標であり直感的でわかりやすい。
RMSE（平方平均二重誤差）
予測誤差を2乗して平均した後に
集計する指標で小さいほど良い性能であることを示す。
正規分布の誤差に対して正確な評価ができるので多くのケースで使われる。
モデルの具体的な評価がしやすい。
MAE（平均絶対誤差）
予測誤差の絶対値を平均した後に集計する指標で小さいほど良い性能であることを示す
RMSEと比較してはずれ値に強いため多くの場合はずれ値が存在するとデータセットで評価する場合に利用される。
分類モデル
分類モデルの評価では出力と正解がとりうるパターンが複数考えられるため
それらのパターンを混合行列と言う表にすることが基本になる。
混合行列
真陽性（True Positive: TP）
ポジティブサンプルに対して正しくポジティブと予測されたサンプル数
例）ウイルス感染者の中に、正しく陽性と判定された人数
偽陰性（False Negative: FN）
ポジティブサンプルに対して間違ってネガティブと予測されたサンプル数
例）ウイルス感染者の中に、陰性と判定された人数
真陰性（True Negative: TN）
ネガティブサンプルに対して正しくネガティブと予測されたサンプル数
例）ウイルス感染していない人の中に、正しく陰性と判定された人数
偽陽性（False Positive: FP）
ネガティブサンプルに対して間違ってポジティブと予測されたサンプル数
例）ウイルス感染していない人の中に、陽性と判定された人数
指標
正解率
TP+TN /全体の数
全体のデータ数のうち正しく分類できたデータの数の割合を計算できる
再現率
TP/TP+FN
実際に正解だったデータのうち正しく0として分類できたデータの割合として計算。
適合率
TP/TP+FP
正解として分類したデータのうち正しく分類できたデータの割合として計算
F値
2×再現率×適合率/再現率+適合率
再現率と適合率はトレードオフの関係にあり一方が大きくなるともう一方は小さくなる。この再現率と適合率の平均を取ることでより良い評価指標となる