マクネマー検定
https://ja.wikipedia.org/wiki/マクネマー検定
https://en.wikipedia.org/wiki/McNemar's_test
4.3 Comparing Two Models with the McNemar Test
で知った
4.3でcorrectedも紹介
4.4 Exact p-Values via the Binomial Test
(二項検定を使ったexact p値)
MATLAB testcholdut マクネマー検定
mlxtendの実装:
mcnemar: McNemar's test for classifier comparisons
How to Calculate McNemar’s Test to Compare Two Machine Learning Classifiers
statsmodels.sandbox.stats.runs.mcnemar
huggingface/evaluate にも実装がある:
Metric: mc_nemar
制約:ノンパラメトリック検定