arXiv reaDer
マルチフレーム超解像とノイズ除去の深い再パラメータ化
Deep Reparametrization of Multi-Frame Super-Resolution and Denoising
マルチフレーム画像復元タスクで一般的に使用される最大事後定式化の深い再パラメータ化を提案します。私たちのアプローチは、学習されたエラーメトリックとターゲット画像の潜在表現を導入することによって導き出されます。これにより、MAPの目的が深い特徴空間に変換されます。深い再パラメータ化により、潜在空間での画像形成プロセスを直接モデル化し、学習した画像の事前分布を予測に統合することができます。これにより、私たちのアプローチは、深層学習の利点を活用すると同時に、古典的なMAP定式化によって提供される原理的なマルチフレーム融合の恩恵を受けます。バーストノイズ除去とバースト超解像データセットに関する包括的な実験を通じて、アプローチを検証します。私たちのアプローチは、両方のタスクに新しい最先端を設定し、提案された定式化の一般性と有効性を示しています。
We propose a deep reparametrization of the maximum a posteriori formulation commonly employed in multi-frame image restoration tasks. Our approach is derived by introducing a learned error metric and a latent representation of the target image, which transforms the MAP objective to a deep feature space. The deep reparametrization allows us to directly model the image formation process in the latent space, and to integrate learned image priors into the prediction. Our approach thereby leverages the advantages of deep learning, while also benefiting from the principled multi-frame fusion provided by the classical MAP formulation. We validate our approach through comprehensive experiments on burst denoising and burst super-resolution datasets. Our approach sets a new state-of-the-art for both tasks, demonstrating the generality and effectiveness of the proposed formulation.
updated: Wed Aug 18 2021 17:57:02 GMT+0000 (UTC)
published: Wed Aug 18 2021 17:57:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト