t検定

その差が、偶然によるものか、統計的に異なるのかを検定する

なにがしたいのか？

「AとB、どっちかが良いと言えるのか? それともたまたま?」みたいなことを知りたい時に使うことが多い

e.g.

「緑が効いた」のか「たまたま緑に当たったユーザーが長かった」だけか

新教材クラス vs 従来クラスでテスト平均点を比較

どういうことか？

データには必ずばらつきがあるので、2群の平均が「72点」と「70点」のように違って見えても、それが本物の差なのか、たまたまそういうサンプルに当たっただけなのかは、平均を眺めるだけでは分からない

そこで、観測された差が、「偶然のばらつき」で説明できる範囲を超えているかを判定する

2グループで、知りたいのが平均値で、その差が偶然かどうかを知りたい時に使う

直感的には

2つの「分布」を重ねて、その離れ具合とばらつきを見ている

code:_

群A 　 ▁▂▅█▅▂▁ 平均72

群B ▁▂▅█▅▂▁ 平均70

↑この重なり具合がカギ

山が大きく離れている（重なりが少ない）→ 本物の差っぽい

山がほぼ重なっている → 2点差くらい誤差の範囲

これを数式にすると「差 ÷ ばらつき」という形になる

同じ2点差でも、各群のばらつきが小さければ「有意」、大きければ「誤差」と判定が変わる

帰無仮説の設定

例えば、 新教材クラス vs 従来クラスでテスト平均点を比較を例に採ると

H₀: μ_新 = μ_従来

教材を変えても母集団の平均は同じ

つまり、2つのサンプルは同じ母集団に属しており、観測された5点差はサンプリングの偶然にすぎない

H₁: μ_新 ≠ μ_従来

5点差は偶然では説明しきれない本物の差

つまり、2つのサンプルは別々の母集団に属している

p値 < 0.05 なら「偶然では片付かない → 差がある」と結論する

2種類のt検定

「2群の分散が等しい」と仮定するかどうかで2種類ある

等分散を仮定する

σ₁² = σ₂² とみなし、両群のデータを合体させて分散を1つにプールして推定する

「ばらつきは1種類」と決め打つぶん、精度を稼げる

等分散を仮定しない

各群の分散を別々のまま使う

ばらつきが群ごとに違ってもOK

自由度は近似式で求まり、たいてい非整数になる

得意不得意

table:_

Student（等分散） Welch（不等分散）

分散が本当に等しいとき わずかに検出力が高い ほぼ同じ性能

分散が違うとき 偽陽性が暴走（危険） 頑健に正しく動く

サンプル数が不均衡なとき 特に脆い 強い

Studentが勝てるのは「分散が本当に等しいとき」だけで、しかも差はごくわずか

一方、分散が違うのにStudentを使うと検定が壊れる（5%のつもりが実際は10%超、など）

以下の仮定のもとで行われる

2つの群は独立している

雑な手順

仮説の設定

平均値に差がある・ない

p値が有意水準より小さいかどうかで、帰無仮説を棄却できるかわかる

Claude Code.icon

「差がある」と「〜のおかげ」は別物

ここが一番の落とし穴。t検定が言えるのは差の存在だけで、因果は保証しない。

教育の例で、新教材クラスの平均が有意に高かったとしても、t検定だけでは「新教材のおかげ」とは言えない。なぜなら、こんな別要因（交絡）があり得るから:

新教材クラスにたまたま優秀な生徒が偏っていた

そのクラスの先生がたまたま熱心だった

そのクラスだけ直前に補習があった

これらを潰すのがランダム化だ。生徒をくじ引きで2群に割り付ければ、こうした偏りが平均的に相殺され、「2群の違いは教材だけ」と見なせる。そこで初めて因果が言える。

code:_

ランダム割付 + t検定で有意 → 「新教材のおかげ」と言える

既存の2クラスを比較 + 有意 → 「差はある」までしか言えない

役割分担で覚えると整理しやすい:

table:_

やりたいこと 担当

差が偶然か本物か t検定

その差が「〜のせい」と言えるか 実験デザイン（ランダム化）

棄却「できなかった」ときの読み方

p ≥ 0.05 で H₀ を棄却できなかったとき、「効果がないと証明された」と読むのは誤り。正しくは「効果があるとは言えなかった」。理由は次の2つを区別できないから。

本当に効果がない

効果はあるが、サンプルが少なくて検出できなかった（検出力不足）

「差を示せなかった ≠ 差がないことを示した」 ── 多くの人が誤解するところ。