状態遷移図
https://gyazo.com/e834feb9dc1909a5ddba204a9d6aa583
天気の変化を単純マルコフ情報源でモデル化してみる。 天気は晴れ(0)と雨(1)しかないと単純化(2元情報源)。 過去の経験から、 晴れの日の翌日
晴れになる確率 0.8
雨になる確率 0.2
雨の日の翌日
晴れになる確率 0.4
雨になる確率 0.6
とわかっていると仮定する。これは条件付き確率。
また、記憶のあるのは前日だけなので、2元単純マルコフ情報源。
状態遷移図（シャノン線図）
ルール
状態遷移の矢印には、各遷移に伴い出力される記号 $ a と遷移の確率$ pを$ a/pのように書く
定常分布（極限分布）
状態遷移図では 状態 $ S_0 (晴)と $ S_1 (雨)を遷移する確率がわかる
では、状態 $ S_0 や $ S_1 が出現する確率は?
初期状態で、状態 $ S_iが確率的に現れていると考え、その確率を
$ w_0^{(0)}, w_1^{(0)}, ..., w_{k-1}^{(0)}
とする。ただし、 $ \Sigma_{i=0}^{k-1} w_i^{(0)} = 1
これをベクトルで表すと
$ \bm{w}^{(0)} = (w_0^{(0)}, w_1^{(0)}, ..., w_{k-1}^{(0)})
これを初期分布という
適当な初期分布から、状態遷移を繰り返していき
$ \bm{w}^{(1)} = \bm{w}^{(0)}P
$ \bm{w}^{(2)} = \bm{w}^{(1)}P
$ ...
$ \bm{w}^{(i)} = \bm{w}^{(i-1)}P
$ \bm{w} = \bm{w}P
のように状態が遷移しなくなったとき、この分布 $ \bm{w}を定常分布と呼ぶ。 $ P = \begin{pmatrix}p_{00} & p_{01} &...&p_{0(k-1)}\\...&...&...&...\\p_{(k-1)0}& p_{(k-1)1} &...&p_{(k-1)(k-1)} \end{pmatrix}