統計学
「統計科学」という別名で呼べるのか？wint.icon
疑義
モデルを利用してないなら科学ではないのでは？
確率モデルのモデルを使ってるのでは？
でも自然主義なら科学と連続してるのでは？
それは数学的な理論と実践とを区別しないと言えない。
cf. 数理統計学
基礎
分類
高々有限サイズ有限回のサンプル（標本）から推定・推測・推論したい。 観測済みデータ → モデル = モデル → 未観測データ
別軸
基礎統計学
応用統計学
統計モデルのモデリングの手法
推計統計のため
大別して2つ
nonparametric 統計
parametric 統計
さらに制約を加える
確率変数は論理式だという
仮説は更新するモノ
検定についての理論
仮説について ではない
帰納行動 by ネイマン
推測統計の古典
相対頻度 (en: empirical frequency) 仮説は棄却するモノ
en: frequentist statistics
検定は2値の確率分布
parameters: α, β
size α
power β
モデル選択
en: model selection
⊂ 理論
もっとも予測能力が高いモデル（= 確率種）を選び取りたい。
⊃ 赤池弘次の理論
例
赤池情報量規準
by. 赤池 弘次
下に
指標の候補
尤度: ❌
問題
過剰適合、過適合、過学習
未知のデータには無効
AIC
平均尤度（期待値）に着目する。
補正項
モデルの複雑さにペナルティーを与える。
予測重視の極地
説明性がトレード・オフに なりがち
スタイルいろいろ
スタイルの比較
ベイズはパラメーターが変化するので、そのためのモデルがあり、そのためのパラメーター（= ハイパーパラメーター）がある。wint.icon
ref.
@genkuroki: #統計 統計学を「頻度論」と「ベイズ」のように主義で分類すること自体が有害な上に、主義の違いによって、定数と確率変数のどちらになるかが決まると考えることが極めて有害。 その代わりになりそうな考え方を書いておきました(試案です)↓
https://pbs.twimg.com/media/EpdDB60VgAASds2.jpg
注意
推計統計学？の概念
変量
母集団（構造）が持つ関数
sample point → number
措定した存在物
概念
en: level of measurement
水準の低い順（構造の貧相な順）
equalable
+orderable, comparable
+加減算
+乗除算
推論
パラメーター空間からパラメータの部分集合を特定すること。
パラメーター空間
モデルの とり得るパラメーターの集合
統計モデルを決めると定まる。
WAIC/WBIC
実は頻度論らしい。
推定量
統計的仮説
分布族ならパラメーターの仮説に帰着できる。
パラメーターの仮説の データに対する もっともらしさ。データに対する仮説の 尤も らしさ。
データを固定して、パラメーターの関数に なる。
尤度が小さいからって、ただちに確証も反証も しない。モデルに相対的なので、比較しないと 言明に ならない。
大小
説明力の指標になる。
予測能力の指標にはならない。
未来のデータは観測されてないので
population correlation coefficient
ja: 母相関係数
措定された確率モデルのパラメーター。観測される ことは ない。 この設定の巧拙に職人芸があるとかないとか。wint.icon
関連
en: base rate fallacy
en: non-informative prior
e.g. フェアなコイン、フェアなサイコロ
ひとしい確率を割り当てる。
価値
過学習ないし過剰適合を回避するための道具
更新された確率分布
現象
洗い流し
en: washing out
sample のサイズ（数。当然回数も）が増えるごとに確率分布が収束していくこと。事前確率のブレを補正できる。
論法
「このベイズ更新を無限に繰り返せるなら…」
流儀が2つある
parameter space を 2分割する。片方を帰無仮説として却下する。 仮説の正誤には直接は言及しない。
Fisher 流もある。
有意性検定
対立仮説を立てない、という。
流儀について
生物学研究においては古典的な統計的検定と p 値が主要な道具として用いられてきたが， アメリカ統計学会が「有意水準が満たされるか否かだけにあらゆる判断を委ねるべきでない」 という趣旨の声明を発表し反響を呼んでいる.しかしながら多くの生物学者にとって，p 値 に関して何が問題となっているのか理解するのは必ずしも容易ではない.本稿ではまず生態 学内部における論争を考察し，「p 値とはそもそも何だったのか」「統計的検定の目的とは何か」 までさかのぼって論じることが必要だと指摘する.またこれを踏まえ，Fisher の有意性検定 と Neyman-Pearson の仮説検定の相違点や二つの検定が生まれた背景を解説し，目的の異な る統計手法が混同されることの危険性について議論する.
標本空間の部分集合$ C⊂Ω
事前にさだめて帰無仮説を対立仮説かを判断するためのサンプルの集合ないし範囲
これで検定関数を定める。
$ ψ: Ω → \{H_0,H_1\}
$ = Ω → 2
検定の誤り
2種
第一種の誤り
確率$ α
size
(of a test)
def. 上の上限
制御可能
第二種の誤り
確率$ β
α vs β
同様に 1-α vs 1-β
データ以上に極端な値が出る確率。帰無仮説の ありえなさ。
p-value function なる手法が あるらしい。
上記以外のモノ
モデル適合
en: model fitting
aka. 学習
結果
適合モデル
ja: 曲線あてはめ
モデルの正当化は考えない。
単なる fitting でしかない。
平均尤度をうまく補正する。
手法２つ
反実仮想モデル
構造的因果モデル
因果グラフ
⊂ 有向グラフ
DAG を考えることが多い。
変数集合が2変数の因果を媒介することがある。
open: する場合
block: する上で、相関させなくなってる状態
def. or条件で定義される。省略。
関係をなくした場合
def. 有効分離、d-分離
直接原因
abbr. dc
グラフの直接の上流の変数たちの集合のこと
課題
得られるのか？
→ 因果探索
因果的マルコフ条件
有効分離された変数は独立になる。
$ X \perp_G Y \mid Z \implies X \perp_P Y \mid Z
$ ≡ X\mathrel{⫫}Y \mid Z
因果的に切断される。
構造方程式
忠実性条件
因果的マルコフ条件の逆
$ X \perp_G Y \mid Z \impliedby X\mathrel{⫫}Y \mid Z
仮定の一種
介入
これをグラフで定式化できる。
介入できるなら原因である。
原因でなくする。
可能世界を現実において実現するモノと言える。
余計な変更はしない。
vs. したら fat-hand である。
手法
do計算
介入前の情報だけで介入後の結果を予測できる。
バックドア基準
介入に都合がいい共変量を選ぶ基準
変量
en: variate
多次元版も ある。
ja: 多変量
en: multivariate
手法
⊂ モデル適合
結果
最尤推定量
aka. 最大尤度
en: maximum likelihood estimator
abbr. MLE
技法
対数尤度
計算を簡単にするため
結果: 最大対数尤度
課題
高次元では解析的に解けない。
数値的に解く必要が出る。
⊂ モデル適合
⊂ 推測統計
予測に使えるので
回帰モデル
説明変数
目的変数
モデル
parametric
線形…
ベイズ更新
ベイジアンな統計モデルで使う。
反事実的な手法
en:
説明変数以外が同じモノをペアと考えられる。これを他の可能世界の代わりに使える。
現実には無理
def. 強く無視できる割り当て条件
i.e. 傾向スコア
反実仮想モデル
en: counterfactual model
傾向スコアを採用する。
柔軟性や予測性能が上がる。
課題
共変量選択の問題は残る。
ここから哲学
意味論
還元主義を とらない。
可能世界に よって 理解する。
構想的因果モデル
因果グラフを使って推論する。
介入
可能世界間の確率分布の写像
do計算
介入の効果を予測できる。
忠実性条件からグラフ構造を逆に推定できる。
絞り込めても確定できない場合もある。
非忠実（en: unfaithful）な分布でも無理。
ベルヌーイ分布
i.e. 2値の分布
二項分布
指数型分布族
特徴
共役事前分布に使える。
e.g.
正規分布
二項分布
多項分布
カイ二乗分布
T = X² が従う分布
コーシー分布
問題
周辺化パラドクス
ベイズ統計における問題
Bayes factor が さだまらない。
書籍
黒木 学『数理統計学』
ref.
（（統計的）仮説）検定