A Hybrid Convolutional Variational Autoencoder for Text Generation
著者
Abstract
In this paper we explore the effect of archi-tectural choices on learning a Variational Autoencoder (VAE) for text generation. In contrast to the previously introduced VAE model for text where both the en-coder and decoder are RNNs, we propose a novel hybrid architecture that blends fully feed-forward convolutional and de-convolutional components with a recurrent language model. Our architecture exhibits several attractive properties such as faster run time and convergence, ability to better handle long sequences and, more impor-tantly, it helps to avoid some of the major difficulties posed by training VAE models on textual data
メモ
VAEに関して
VAEとは
VAEの特徴
シンプルなノイズをデコーダーに通した、入力データの分布から引き出した現実的な例を生成可能
生成プロセスを通して粒度をコントロールした入力例をエンコーダーによって分散表現を獲得する
他の従来のautogressive modelでは難しい
VAEの学習の難しさ
latent lossが崩壊し0になる
やったこと
テキスト生成のための新しいVAEモデルの提案
デコーダーの潜在ベクトルの生成がより効率的デコーダー
エンコーダーとデコーダーが層の両方がLSTMsの従来の研究とは反対にモデルのコアは1次元のconvolutionalとdeconvolutionalのfeed forward architecture このアーキテクチャの選択がKL termのより細かいコントロールを助ける
わかったこと
自然テキスト生成の潜在変数生成モデルのデコーダーの中でdeconvolutionの適用を成功
完全なリカレントモデルよりも学習が容易なことを経験的に検証
テキストに向けたVAEの学習の難しい点の理由を実験、最適化に関する議論、効率的な方法の提案を通して理解を深めた
モデル
https://gyazo.com/591640bedab842832cbb2c414297d530