arXiv reaDer
画像のマルチスケール局所条件付き確率モデルの学習
Learning multi-scale local conditional probability models of images
ディープ ニューラル ネットワークは、画像の強力な事前確率モデルを学習できます。これは、最近のスコアベースの拡散手法で得られた高品質の世代によって証明されています。しかし、これらのネットワークが次元の呪いに苦しむことなく、複雑なグローバルな統計構造を捉える手段は謎のままです.これを研究するために、拡散法をマルチスケール分解に組み込み、より粗いスケール係数で条件付けられたウェーブレット係数の定常ローカル マルコフ モデルを仮定することで次元を減らします。このモデルは、定常性とマルコフ特性の両方を強制するローカル受容野を持つ畳み込みニューラル ネットワーク (CNN) を使用してインスタンス化します。グローバル構造は、CNN を使用してキャプチャされ、受容野がローパス画像全体 (ただし小さい) をカバーします。このモデルを、非常に非定常で大規模な幾何学的構造を含む顔画像のデータセットでテストします。驚くべきことに、ノイズ除去、超解像、および画像合成の結果はすべて、これらの構造が、ピクセル ドメインで実装されたマルコフ モデルで必要とされるよりも大幅に小さい条件付け近傍でキャプチャできることを示しています。私たちの結果は、大規模で複雑な画像のスコア推定を、スケール全体で低次元のマルコフ条件付きモデルに縮小して、次元の呪いを軽減できることを示しています。
Deep neural networks can learn powerful prior probability models for images, as evidenced by the high-quality generations obtained with recent score-based diffusion methods. But the means by which these networks capture complex global statistical structure, apparently without suffering from the curse of dimensionality, remain a mystery. To study this, we incorporate diffusion methods into a multi-scale decomposition, reducing dimensionality by assuming a stationary local Markov model for wavelet coefficients conditioned on coarser-scale coefficients. We instantiate this model using convolutional neural networks (CNNs) with local receptive fields, which enforce both the stationarity and Markov properties. Global structures are captured using a CNN with receptive fields covering the entire (but small) low-pass image. We test this model on a dataset of face images, which are highly non-stationary and contain large-scale geometric structures. Remarkably, denoising, super-resolution, and image synthesis results all demonstrate that these structures can be captured with significantly smaller conditioning neighborhoods than required by a Markov model implemented in the pixel domain. Our results show that score estimation for large complex images can be reduced to low-dimensional Markov conditional models across scales, alleviating the curse of dimensionality.
updated: Mon Mar 06 2023 09:23:14 GMT+0000 (UTC)
published: Mon Mar 06 2023 09:23:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト