GAN、正規化フロー、拡散モデルなどの深い生成モデルは、逆問題の強力な正則化器です。それらは、不適切な姿勢を減らし、高品質の結果を達成するのに役立つ大きな可能性を示しています.ただし、このような深い生成モデルの潜在テンソルは、反転プロセス中に、特にデータ ノイズや不正確なフォワード モデルが存在する場合に、目的の高次元標準ガウス分布から外れる可能性があります。このような場合、深い生成モデルは、忠実度の高いソリューションを達成するのに効果的ではありません。この問題に対処するために、最適化問題を解決することによってカスタム演算子が定義される、新しい微分可能なデータ依存レイヤーを使用して、潜在テンソルを再パラメーター化およびガウス化することを提案します。これらの提案されたレイヤーは、逆問題を制約して、忠実度の高い分布内ソリューションを取得します。 StyleGAN2 と Glow の 2 つの代表的な深層生成モデルを使用して、圧縮センシング MRI、画像ブレ除去、エイコナル トモグラフィー (非線形 PDE 制約付き逆問題) の 3 つの反転タスクで手法をテストおよび検証し、最新の状態を達成しました。 -正確さと一貫性の点でのアートパフォーマンス。
Deep generative models such as GANs, normalizing flows, and diffusion models are powerful regularizers for inverse problems. They exhibit great potential for helping reduce ill-posedness and attain high-quality results. However, the latent tensors of such deep generative models can fall out of the desired high-dimensional standard Gaussian distribution during an inversion process, particularly in the presence of data noise and inaccurate forward models. In such cases, deep generative models are ineffective in attaining high-fidelity solutions. To address this issue, we propose to reparameterize and Gaussianize the latent tensors using novel differentiable data-dependent layers wherein custom operators are defined by solving optimization problems. These proposed layers constrain inverse problems to obtain high-fidelity in-distribution solutions. We tested and validated our technique on three inversion tasks: compressive-sensing MRI, image deblurring, and eikonal tomography (a nonlinear PDE-constrained inverse problem), using two representative deep generative models: StyleGAN2 and Glow, and achieved state-of-the-art performance in terms of accuracy and consistency.