画像の空間的規則性と一貫性をより有効に活用することにより、生成モデリングを改善するにはどうすればよいですか?画像ジェネレーター(デコーダー)を構築するための新しいニューラルネットワークを紹介し、それを変分オートエンコーダー(VAE)に適用します。空間依存性ネットワーク(SDN)では、ディープニューラルネットの各レベルの特徴マップが、2次元空間全体にコンテキスト情報を分散するシーケンシャルゲーティングベースのメカニズムを使用して、空間的にコヒーレントな方法で計算されます。空間依存層によって階層VAEのデコーダーを拡張すると、ベースライン畳み込みアーキテクチャーおよび同じクラス内のモデル間の最先端技術よりも密度推定が大幅に向上することを示します。さらに、高品質でコヒーレンスのあるサンプルを合成することにより、SDNを大きな画像に適用できることを示します。バニラVAE設定では、強力なSDNデコーダーも解きほぐされた表現の学習を改善することがわかり、ニューラルアーキテクチャがこのタスクで重要な役割を果たしていることを示しています。私たちの結果は、さまざまなVAE設定で畳み込み層よりも空間依存性を優先することを示唆しています。付属のソースコードはhttps://github.com/djordjemila/sdnにあります。
How to improve generative modeling by better exploiting spatial regularities and coherence in images? We introduce a novel neural network for building image generators (decoders) and apply it to variational autoencoders (VAEs). In our spatial dependency networks (SDNs), feature maps at each level of a deep neural net are computed in a spatially coherent way, using a sequential gating-based mechanism that distributes contextual information across 2-D space. We show that augmenting the decoder of a hierarchical VAE by spatial dependency layers considerably improves density estimation over baseline convolutional architectures and the state-of-the-art among the models within the same class. Furthermore, we demonstrate that SDN can be applied to large images by synthesizing samples of high quality and coherence. In a vanilla VAE setting, we find that a powerful SDN decoder also improves learning disentangled representations, indicating that neural architectures play an important role in this task. Our results suggest favoring spatial dependency over convolutional layers in various VAE settings. The accompanying source code is given at https://github.com/djordjemila/sdn.