b進法のentropy
ちょうど1桁あたりlog(b) natだとおもわれる
・頭n桁の可能性が~b^n
・一様乱数からはじめたときの頭n桁の分布のエントロピーが~n*log(b)
・定常分布からはじめたときの頭n桁の分布のエントロピーが~n*log(b)
のどの意味でも
最初n桁の可能性が、
1+b+b^2+...+b^n 通り以下であることがわかる
下からもいい感じにおさえられる
一様分布ではないわけなのだが、各区間の確率がb^-n以下なので大きくずれないことがわかる
unif on 0~1から入力をとってくるときと定常分布からとってくるときでも分布が違うが、これも確率が1/(b-1)倍くらいしかずれてないことがいえるはず
(f(x)=fract(bx) f^nによるある点の逆像がたかだか1+b+b^2+...+b^n点しかないことがいえて、これによって確率があんまりずれてないことがわかる)