arXiv reaDer
密に接続された正規化フロー
Densely connected normalizing flows
正規化フローは、完全に因数分解された分布を持つ入力と潜在表現の間の全単射マッピングです。それらは、正確な尤度評価と効率的なサンプリングのために非常に魅力的です。ただし、双射性の制約によりモデルの幅が制限されるため、有効容量が不十分な場合がよくあります。中間表現にノイズを段階的にパディングすることで、この問題に対処します。クロスユニット結合と呼ばれる以前の可逆ユニットに従って、ノイズを事前調整します。私たちの反転可能なグローのようなモジュールは、密に接続されたブロックをNystromの自己注意と融合することにより、モデルの表現度を高めます。クロスユニットカップリングとモジュール内カップリングの両方が高密度接続に依存しているため、アーキテクチャをDenseFlowと呼びます。実験は、提案された貢献による大幅な改善を示し、適度なコンピューティング予算の下での最先端の密度推定を明らかにします。
Normalizing flows are bijective mappings between inputs and latent representations with a fully factorized distribution. They are very attractive due to exact likelihood valuation and efficient sampling. However, their effective capacity is often insufficient since the bijectivity constraint limits the model width. We address this issue by incrementally padding intermediate representations with noise. We precondition the noise in accordance with previous invertible units, which we describe as cross-unit coupling. Our invertible glow-like modules increase the model expressivity by fusing a densely connected block with Nystrom self-attention. We refer to our architecture as DenseFlow since both cross-unit and intra-module couplings rely on dense connectivity. Experiments show significant improvements due to the proposed contributions and reveal state-of-the-art density estimation under moderate computing budgets.
updated: Tue Nov 02 2021 13:05:50 GMT+0000 (UTC)
published: Tue Jun 08 2021 18:24:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト