VAEについての紹介
書誌情報
An Introduction to Variational Autoencoders
著者名:Diederik P. Kingma(Google),Max Welling(University of Amsterdam)
会議名:
何をしている論文か
VAEの特性や、可能性、現状について紹介している
機械学習の中でも、生成モデリングの一種
VAEの目的としては、もつれをほどき、意味のある統計的に独立した因果関係のある要因の探求(潜在的な表現の学習)
AutoEncoderに比べて、確率的なモデルであり、入力に対して様々な潜在表現を生成することができるため、幅広い確率的なタスクを解決することができる
→VAEによって意味のある潜在表現を見つけることが可能
VAEは、オートエンコーダ型変分推論と呼ばれている
名前の由来は、AutoEncoderの形をしたアーキテクチャである
モデルの目的:潜在表現が正規分布に従うことで、潜在空間内が連続空間になること
潜在空間が離散空間から潜在空間に→現実世界の距離関係を潜在空間でも維持可能
VAEの本質は、変分推論という統計分野の手法を取り入れていること
画像を入力した場合、エンコーダの出力は入力の平均と分散
これをもとに潜在表現zを確率分布として形成する
この潜在表現zがデコーダの入力となる
デコーダの出力は潜在表現zをもとに生成された画像
VAEの損失関数は、再構築ロスとKLダイバージェンスの和であり、これを最小限に抑える目的変数を最適化とする。
再構築ロスは、入力と出力の画像がどれくらい違うのかを計算(再構築した際の誤差を計算)
KLダイバージェンスは、二つの確率分布の擬距離を計算
入力の画像から真の確率分布を求めることは不可能(計算途中で分母に)
→変分推論を用いて真の分布を近似分布との変分から推論
推論された近似事後分布と事前分布(従わせたい任意の正規分布)との擬距離をKLダイバージェンス項で計算
→損失関数を最小化するようパラメータを更新していく
VAEはめちゃめちゃ応用が利くらしく、発展的なVAE亜種がたくさん提案されている