イェンセンの不等式
凸関数を使った不等式である
例えば xの(尤度の？)期待値を求めたいけど、logが邪魔。log(x)みたな対数尤度の期待値はでできることはないのか？
で、log(x)の期待値があれば、それはxの期待値をlogした下界にはなってる？みたいな話？
$ E[f(y)]\leq f(E[y])
以下のサイトの説明が一番イメージに残る。
https://gyazo.com/eccdbf7023aada076e555c01132ac400
xが正規分布に従う確率変数だとして
f(x)=−x^2+10 という上に凸な関数で変換します
xのの二乗で上に凸な関数にしてる。
(ここでは標準正規分布なので、分散1で 10 > 9 となり)、常に先に確率変数の期待値を取ってから関数に掛ける方がおおきい。
で、下にあるように、ある確率変数のlogの値の期待値の下界を、ある確率変数の期待値のlogから求めていってる。
統計においては、
ある関数の(あるパラメータの確率分布での)期待値は、パラメータの期待値を取ってから関数を掛けたものの、下界(lower bound)になってる。 これ(パラメータの期待値を取ってからの関数)を使って、これで、その期待値の最大値を(下から押し上げて)求めていく。
$ E[f(y)]\leq f(E[y])
udemyの講座、ベイズ推定とグラフィカルモデルから
https://gyazo.com/f31beeb489bddb6b4e12288f982f751e
f(x)が凸関数で、 $ \sum_{i=1}^{n}\lambda_i = 1 として、
n = 2 の場合 $ f(\lambda_1x_1+\lambda_2x_2) \leq \lambda_1f(x_1)+\lambda_2f(x_2)
n = 1 の場合, $ f(x) = f(x) で同じ。
質点2つの場合だけ、イメージしておけば、俺の場合はよいかな。 3つ以上の一般表現だと
イェンゼンの不等式は直感的に当たり前に思えること（質点たちの荷重平均はその凸包内にある）をきちんと式で表現したものです
まずは、凸関数のイメージから
https://gyazo.com/a6fd1848cbc7ecdbe4b406451f7fb1b5