この作業では、VAEフレームワークに生成フローを埋め込んでデコーダーをモデル化することにより、完全に教師なしの設定で画像のグローバル表現とローカル表現を自動的に分離できる新しい生成モデルを提案します。具体的には、提案されたモデルは、変分自動エンコードフレームワークを利用して、潜在変数の(低次元)ベクトルを学習し、アーキテクチャを借用したフローベースの可逆デコーダーへの条件付き入力として供給される画像のグローバル情報をキャプチャします。スタイル転送の文献から。標準画像ベンチマークの実験結果は、密度推定、画像生成、教師なし表現学習の観点から、モデルの有効性を示しています。重要なことに、この作業は、アーキテクチャの誘導バイアスのみで、尤度ベースの目的を持つ生成モデルが分離された表現を学習でき、明示的な監視を必要としないことを示しています。モデルのコードはhttps://github.com/XuezheMax/wolfで入手できます。
In this work, we propose a new generative model that is capable of automatically decoupling global and local representations of images in an entirely unsupervised setting, by embedding a generative flow in the VAE framework to model the decoder. Specifically, the proposed model utilizes the variational auto-encoding framework to learn a (low-dimensional) vector of latent variables to capture the global information of an image, which is fed as a conditional input to a flow-based invertible decoder with architecture borrowed from style transfer literature. Experimental results on standard image benchmarks demonstrate the effectiveness of our model in terms of density estimation, image generation and unsupervised representation learning. Importantly, this work demonstrates that with only architectural inductive biases, a generative model with a likelihood-based objective is capable of learning decoupled representations, requiring no explicit supervision. The code for our model is available at https://github.com/XuezheMax/wolf.