画像復元タスクでは、画像を復元しながら、空間の詳細と高レベルのコンテキスト化された情報の間の複雑なバランスが必要です。この論文では、これらの競合する目標のバランスを最適化できる新しい相乗効果のある設計を提案します。私たちの主な提案は、劣化した入力の復元機能を段階的に学習し、それによって全体的なリカバリプロセスをより管理しやすいステップに分割するマルチステージアーキテクチャです。具体的には、私たちのモデルは、最初にエンコーダーデコーダーアーキテクチャを使用してコンテキスト化された機能を学習し、後でそれらをローカル情報を保持する高解像度ブランチと組み合わせます。各段階で、その場で監視された注意を活用してローカル機能を再重み付けする、新しいピクセルごとの適応設計を紹介します。このような多段階アーキテクチャの重要な要素は、異なる段階間の情報交換です。この目的のために、情報が初期段階から後期段階まで順次交換されるだけでなく、情報の損失を回避するために機能処理ブロック間の横方向の接続も存在する、2つの側面からなるアプローチを提案します。結果として得られる緊密に相互リンクされたマルチステージアーキテクチャは、MPRNetと呼ばれ、画像のドレイン、ブレ除去、ノイズ除去などのさまざまなタスクにわたって、10個のデータセットで強力なパフォーマンスの向上を実現します。ソースコードと事前トレーニング済みモデルは、https://github.com/swz30/MPRNetで入手できます。
Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a two-faceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.