p値も有意水準も帰無仮説が正しいと仮定した世界での話

もともと知りたかった対立仮説の話は一切していないということに注意する

「有意水準」って、字面だけを見るとなんとなく正しさの話をしてそうに思える

p = P(これくらい極端なデータ | H₀ が真)

主語が「データ」で、条件が「帰無仮説 H₀ が真」

対立仮説 H₁ はこの式のどこにも出てこない

人間が直観的に知りたいものは

P(H₁ が正しい | データ) =「このデータを見て、効果がある説はどれくらい確からしい?」

一方で、検定が答えるのは

P(データ | H₀ が正しい) =「効果ゼロだと仮定したら、このデータはどれくらい珍しい?」

条件と結論が逆である

「p < 0.05 だから、対立仮説が95%正しい」と言いたくなるが誤り

p値は H₁ の確率を一言も語っていない