混合ガウスモデル
確率的に所属クラスタを割り当てる方法
このようなクラスタリングアルゴリズムをハードクラスタリングという
これとは異なり、K個のクラスタに対して、「各クラスタに属する確率」を求めることも考えられる
こうしたアルゴリズムはソフトクラスタリングという
https://gyazo.com/869c176ee704f9321743a5daec053950
https://gyazo.com/45a7a41df6aa703a7d22fe6f15c2c2da
混合ガウスモデル
「各クラスに属する確率」を求めるタイプのクラスタリングに使える確率モデルである、混合分布モデルのひとつ
K個のガウス分布（正規分布）の和によって分布を表現する
https://gyazo.com/83a9b8aa01c216e878539f92280ef6a2
混合ガウスモデルの学習
EMアルゴリズム（Expectation–Maximization algorithm）とよばれるアルゴリズムで学習（パラメータの更新）を行う
潜在変数をもつ確率モデルの最尤推定に用いられる反復アルゴリズム
導出は数学的な議論があるが、ここでは具体的な計算ステップのみみていく
手順の全体像
https://gyazo.com/1d33f9e0710f21289ab9244c6732336c
以下のパラメータを考える
クラスタの混合係数 $ \boldsymbol \pi
クラスタの中心ベクトル $ \boldsymbol \mu
クラスタの分散共分散行列 $ \Sigma_k
負担率 $ \boldsymbol \gamma：各データ点がクラスタにどれくらい寄与しているか
混合ガウスモデルの学習（EMアルゴリズム）の流れ
Step 0（初期化）
https://gyazo.com/89357d93c21e856257f8a62206d961e9
Step 1（E（Expectation）ステップ）
https://gyazo.com/592e82d6b70718a7c36de2ebe2ce9c78
Step 2（M（Maximization）ステップ）
https://gyazo.com/e490243acb7e5193c495fc7d68e13971
E StepとM Stepを繰り返すことで、パラメータを更新していくことができる
https://gyazo.com/9f1be4866d4780ed149b10b79af66f4a