確率論
確率を(数理的に)論じる学問。確率の数学。
公理を置く形式体系。いわゆる公理的確率論。
有限測度の測度論
特に total measure(全測度)μ(Ω) = 1
確率測度のこと
つまり測度論を基礎にしてる。
独立の概念が測度論との問題意識の違いらしい。
公理
いくつかのスタイルが ある。
事象の公理
最初に空事象をおくか 全事象をおくかで趣味が わかれる。
cf. 信念の公理
公理の導出
https://x.com/kenmcalinn/status/1728927132947198361
コロモゴロフの公理では条件確率の問題があるからそれを回避したのがコックスの定理 ( https://en.m.wikipedia.org/wiki/Cox%27s_theorem )、合理性の公理からスタートしてコロモゴロフの公理を導出するのがドフィネッティやサベッジ ( https://en.m.wikipedia.org/wiki/Subjective_expected_utility )。
ref. Cox's theorem - Wikipedia
ref. Subjective expected utility - Wikipedia
確率の定義の流儀
メインに置くモノで 2つの流儀がある
標本点の集合(標本空間)Ωを先に置く
事象空間Fと確率空間は、あとから作られる。
確率変数を先に置く
標本空間Ωは確率変数の始域に使うだけで、十分に大きければ なんでも良い。
誘導された確率測度(= 確率分布)が作れるので。
要は shortcut
CDF や PDF まで使えば、確率分布まで隠蔽できる。
↑ 2つは 等価で ある。
慣習的な記法
確率分布Pのなかの確率変数に対する演算は、確率変数による逆像の略記法である。
e.g. P(X > 123)
これは P({ω|X(ω)>123}) の略記
なんなら 等式も さらに値で略記する。
e.g. P(x)
これを関数と見たら確率分布と呼べる。
説明
束論ベースの説明がある。
ref. An introduction to lattice based probability theories - ScienceDirect
事象空間の一般化が認知現象のモデル化に応用されてると紹介している。
疑義: 病的な可測空間と確率を排除できてないのでは?
確率の解釈
頻度主義
en: frequentism
ベイズ確率
cf. Thomas Bayes
minor?
主観 vs 客観
主観確率
en: subjective probability
客観確率
en: objective probability
e.g. 量子現象
存在論的な意味で
4分法: Classical, Empirical, Subjective, and Axiomatic
list:
empirical probability
ref. Empirical probability - Wikipedia
ref. What is Probability?
概念
標本
実際に得られた結果ないし標本点のあつまり と、確率モデルの標本空間(= 母集団の台集合)とでは、指してるモノが違う。
一対一対応: 標本 ↔ 個体(∈母集団)
定義に いくつか流儀が ある。
確率測度
事象から実数値 0..1 への測度
特に cod が有限
記号 Pr
確率変数
写像
始域: 標本空間
終域: ボレル可測空間
この cod は標本空間Ωと同一視されがち
cf. スタイルの違い
多次元版: 同時確率変数
同時確率
全確率の定理で周辺化
→ 周辺確率
確率分布
確率測度のこと
特に誘導された像測度
確率変数から誘導された確率測度
aka. 前送り測度
Pushforward measure - Wikipedia
ボレル → 実数値
記号 μ
もはや これだけを確率だ と扱っても事足りる。
aka. 分布、確率法則
こまる wint.icon
多次元版もある
種類
離散型(確率分布)
def. 始域が高々加算な分布
差分: 確率質量関数
aka. 確率関数
連続型(確率分布)
def. 分布関数が始域上で連続
微分: 確率密度関数
⊃絶対連続型
積分で書けるとき
混合分布
確率分布の分布関数の凸結合から Lebesgue–Stieltjes測度で定義する。
記法
X ~ F
「確率変数Xは分布Fに従う」と読む
この文それ自体の名前は ない
「確率変数Xの確率分布がFである」という意味
cf. 確率変数が分布に「従う」とは - 檜山正幸のキマイラ飼育記 (はてなBlog)
disamb.
確率密度関数のつもりで言う人が存在する…?
分布関数
aka. 累積分布関数
上限以下を取る確率を考えると、その上限を入力とする関数が作れる。
多次元版: 同時分布関数
aka. 同時分布
周辺分布関数
上のうちの1次元だけを残す
aka. 周辺分布
周辺化
周辺分布を求める操作。具体的には積分する。
def.
上下に有界
特に 0..1
右連続
確率分布と一対一対応がある。
用語を濫用して ともに「分布」と呼ばれがち
単調非減少関数
引き算で計算できて楽
cf. 累積和
微分可能なら確率密度関数や確率関数が得られる。
可測空間
大抵はボレル可測空間で足りる。
ボレル集合体
ref. ボレル集合 - Wikipedia
確率要素
en: random element
確率変数の一般化
確率変数の終域をも一般の可測空間にしたい。
確率密度
連続型確率変数の区間を1点への極限を取ったモノ
単に1点ならゼロなので
関数になる → 確率密度関数
確率密度関数
abbr. PDF
en: probability density function
連続型の方
派生
同時…
多次元版
周辺…
条件つき…
公式
乗法公式
同時 → 条件付き × PDF
逐次的因数分解
乗法公式の派生
確率質量関数
abbr. PMF
en: probability mass function
aka. 確率関数
en: probability function
aka. frequency function
離散型の方
値である確率は、確率質量とも言える
期待値
分布の特徴量
派生
条件つき…
関数: X → R
aka. 回帰関数
期待ではないwint.icon
分散
共分散
相関係数
共分散 / 標準偏差×2
by Pearson
あくまでも線形な関係をとらえるモノ
他には相互情報量が使える。
独立
aka. 周辺独立
特に確率変数の独立を指す
事象の独立もある。
vs. 従属
これは主従を連想するので好まない。wint.icon
定理
独立 ⇒ 共分散 = 0 ⇒ 相関係数 = 0
逆は真ならず
確率モデル
真なる分布
仮定(措定)される存在
形而上の存在だ とも言えそう。wint.icon
cf. 対象実在論
データもといサンプルの分布ではない。
母集団分布
母集団の確率分布
wint.icon そろそろ統計学では?
IID
abbr. independent and identically distributed
ja: 独立同一分布
i.i.d. 条件のこと
確率変数のあつまりに対する述語
サンプルサイズ n の無作為標本
n 个のとき
en: random sample
自然の斉一性の具象化
つまりモデルの斉一性
推定量
def. 標本から真値を推定するとき、その推定された量
統計モデル
有限的な人間が決め打ちするモデル
無数のサンプルも極限操作も無理
人工的な仮定であって、モデル(道具)として十分に近似的に正しければ 用は なす。
cf. すべてのモデルは間違っている
道具的な存在
順序統計量
i.i.d. 確率変数の族を考えて順序を入れる。
互いに非独立になる。
PDF
閉じた式で えられる。
cf. 多項分布
e.g. ベータ分布
KL divergence
aka. KL 情報量
交差エントロピー 2つの差としても書ける。
JS divergence というモノも ある。
ぽさ。確率分布の類似性
→ 最適輸送
特性関数
変数の虚数をかけないと積率母関数になる。
定理
全確率の定理
同時確率から単体の確率変数の確率を得る。この操作を周辺化と言う。結果を周辺確率と呼ぶ。
marginalization
$ P(A) = \sum_{i∈I}P(A_i \cap B_i) = \sum P(A_i \mid B_i)P(B_i)
ベイズの定理
en: Bayes' theorem
$ P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)} = \frac{P(A \cap B)}{P(B)}
Chebyshev's inequality
ja: Chebyshevの不等式
確率変数の振る舞い(期待値から外れる確率)を分散で評価できる。
初手に有効である。
定義
期待値
en: law of total expectation
分散
en: law of total variance
条件付き期待値
期待値ではなく確率変数である。
基礎づけ
diffusion の idea を もとにした Giry monad を使った基礎づけが できる らしい。
ref. https://m-hiyama.hatenablog.com/entry/20180606/1528256040
Markov核なるモノが便利らしい
ref. マルコフ核: 確率計算のモダンな体系 - 檜山正幸のキマイラ飼育記 (はてなBlog)
大標本理論
大数の法則
上述のモデル化(iid)により枚挙的帰納法(aka. 枚挙による帰納)を根拠づける。
中心極限定理
サンプルの分布がサンプルサイズの増大にともなって正規分布に漸近していく。
応用としての確率測度
modeling の対象は、 randomness でも uncertainty(不確実性)でも良い
確率model の modeling の話
https://twitter.com/tmaehara/thread/1663494794109239296
https://twitter.com/tmaehara/status/1663494794109239296
@tmaehara: 1. 「情報不足による不確実性」という概念がある
2. 確率はそういう不確実性のモデリングにも使える
というのが一番大事な発想の飛躍で,この枠組みでは「彼が試験に合格した確率」とかが扱えるようになります.こういうランダムネスと無関係な不確実性を表すのにも確率は便利なんです.
https://twitter.com/tmaehara/status/1663497892294713344
@tmaehara: 確率は単なる測度だから P(θ) という分布で何を表現するか(e.g., ランダムネス・不確実性・傾向・etc)は利用者に任されていて,上述が1通りの解釈というわけでは全然ないけれど,統計の文脈だとこういうのが多いという感じです.
統計学は応用確率論か?wint.icon
応用は学際的な色を帯びる?wint.icon
disamb.
「分布、測度、密度」は同じか違うか - 檜山正幸のキマイラ飼育記 (はてなBlog)
確率・統計の「分布」の意味と使用法 - 檜山正幸のキマイラ飼育記 (はてなBlog)
分布から拡散へ: ミシェル・ジリィを巡って - 檜山正幸のキマイラ飼育記 (はてなBlog)
独立性
フランツによる統計的独立性の定義 - 檜山正幸のキマイラ飼育記 (はてなBlog)
書籍
原 啓介 (2020)『測度・確率・ルベーグ積分: 応用への最短コース』
測度・確率・ルベーグ積分 応用への最短コース | 書籍情報 | 株式会社 講談社サイエンティフィク
『統計学への確率論,その先へ: ゼロからの測度論的理解と漸近理論への架け橋』
ref.
確率論 - Wikipedia
確率の公理 - Wikipedia
https://ja.wikipedia.org/wiki/主観確率#主観確率と客観確率
Probability interpretations - Wikipedia
Frequentist probability - Wikipedia
頻度主義統計学 - Wikipedia
Bayesian probability - Wikipedia
ベイズ確率 - Wikipedia
Propensity probability - Wikipedia
確率測度 - Wikipedia