Transprtation tables
前提
なお, $ r, cはそれぞれ行列の和. row, columnの頭文字
$ Qは$ P同様, $ U(r,c)の確率分布
前提の定義について
$ r \in \Sigma_d, $ h(r) = -\Sigma^{d}_{i=1}r_ilogr_i
$ P \in U(r, c), $ h(P) = -\Sigma^{d}_{i, j=1}p_{ij}logp_{ij}
エントロピーは珍しい情報を評価する. 確率が小さい場合は珍しいので, 持っている情報量が多いとする. この時, logは非常に都合が良い. 符号を反転さえすれば正の値で上手く扱える 制約
$ r \in \Sigma_d, $ h(r) = -\Sigma^{d}_{i=1}r_ilogr_i
$ P \in U(r, c), $ h(P) = -\sum^{d}_{i, j=1}p_{ij}logp_{ij}
$ P,Q \in U(r,c),$ \text{KL}(P \parallel Q) = \sum_{i,j} p_{ij} \log \frac{p_{ij}}{q_{ij}}