arXiv reaDer
密に接続された正規化フロー
Densely connected normalizing flows
正規化フローは、完全に因数分解された分布による入力と潜在表現の間の全単射マッピングです。それらは、正確な尤度評価と効率的なサンプリングにより、非常に魅力的です。ただし、双対性制約がモデルの幅を制限するため、それらの有効容量はしばしば不十分です。この問題に対処するには、中間表現にノイズを段階的に追加します。ユニット間結合と呼ばれる以前の可逆ユニットに従ってノイズを事前調整します。私たちの反転可能なグローのようなモジュールは、高密度に接続されたブロックと Nyström 自己注意の融合として、ユニット内アフィン結合を表現します。ユニット間カップリングとユニット内カップリングの両方が高密度接続に依存しているため、私たちはアーキテクチャを DenseFlow と呼んでいます。実験では、提案された貢献により大幅な改善が示され、適度なコンピューティング バジェットの下ですべての生成モデル間で最先端の密度推定が明らかになりました。
Normalizing flows are bijective mappings between inputs and latent representations with a fully factorized distribution. They are very attractive due to exact likelihood evaluation and efficient sampling. However, their effective capacity is often insufficient since the bijectivity constraint limits the model width. We address this issue by incrementally padding intermediate representations with noise. We precondition the noise in accordance with previous invertible units, which we describe as cross-unit coupling. Our invertible glow-like modules express intra-unit affine coupling as a fusion of a densely connected block and Nyström self-attention. We refer to our architecture as DenseFlow since both cross-unit and intra-unit couplings rely on dense connectivity. Experiments show significant improvements due to the proposed contributions, and reveal state-of-the-art density estimation among all generative models under moderate computing budgets.
updated: Tue Jun 08 2021 18:24:41 GMT+0000 (UTC)
published: Tue Jun 08 2021 18:24:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト