変分オートエンコーダ
Variational Autoencoder (VAE)
Kingma & Welling (ICLR 2014) “Stochastic Gradient VB and the Variational Auto-Encoder”
いい形の分布でないとEMアルゴリズムを導けない
因子分解の仮定 $ q(z, \theta) = q(z)q(\theta)が強い
そこでzが多変量標準正規分布であるモデルを考える
VAEって簡潔に言えばなんだろう
まずオートエンコーダがあって、それによって「潜在ベクトル」の概念が生まれて
もしこの潜在ベクトルの分布からサンプリングすることができるなら生成モデルに使える
しかし生のオートエンコーダでは実際の入力データと対応したベクトルの集合なので、そこからサンプリングしても学習に使ったデータしかでない
ここでこの潜在ベクトルの分布は「よりシンプルな分布(軸ごとのガウス分布？)の積である」という「変分近似」を使って、オートエンコーダ相当の構造を確率モデルにし、ベイズ更新していく形にするのが変分オートエンコーダ
と言っていいのかな
この記事だと「原論文ではオートエンコーダのベイズ化としてVAEを作ったわけではない」と指摘していて、僕がやったような流れの説明は適切じゃないということになる
指摘
VAE はベイズ推論ではない
変数変換トラック
バスワイズ
重点サンプリング