検定
有意水準を決めて、想定する分布(標準正規分布、t分布, カイ二乗分布, F分布) ,検定統計量がどの水準に位置(p値)するか見る。
P値が有意水準の外であれば、有意として、その想定する分布から確率変数を使った統計量でないとする。
確率的な話なので、真実は見えない。これくらい数字が離れてれば、信用できるみたいな話になる。
二分法でいくので、予想のPositive, Negative, 結果のPositive, Negativeの４つパターンが起こり得る。混同行列 帰無仮説を棄却したけど、(例えば)効果量が0(同じ母集団)だった間違い。
帰無仮説を棄却しなかったけど、本当は効果量に差があったとする、検定力に関する見落としの２つのバランスがある。 参考