arXiv reaDer
DnSwin:連続ウェーブレットスライディングトランスを介した実世界のノイズ除去に向けて
DnSwin: Toward Real-World Denoising via Continuous Wavelet Sliding-Transformer
実世界の画像のノイズ除去は、実際の画像復元の問題であり、実際のノイズの多い入力からクリーンな画像を取得することを目的としています。最近、Vision Transformer(ViT)は長距離の依存関係をキャプチャする強力な機能を示し、多くの研究者が画像のノイズ除去タスクにViTを適用しようとしています。ただし、実際の画像は、ViTに内部パッチへの長距離依存関係を構築させる分離フレームであり、画像をパッチに分割し、ノイズパターンと勾配の連続性を乱します。この記事では、DnSwinと呼ばれる、実世界のシーンで周波数対応を構築する連続ウェーブレットスライディングトランスを使用して、この問題を解決することを提案します。具体的には、まずCNNエンコーダーを使用して、ノイズの多い入力画像から下部の特徴を抽出します。 DnSwinの鍵は、高頻度と低頻度の情報を機能から分離し、頻度の依存関係を構築することです。この目的のために、離散ウェーブレット変換、自己注意、および逆離散ウェーブレット変換を利用して深い特徴を抽出するウェーブレットスライディングウィンドウトランスフォーマーを提案します。最後に、CNNデコーダーを使用して、深い特徴をノイズ除去された画像に再構成します。実世界のノイズ除去ベンチマークでの定量的評価と定性的評価の両方が、提案されたDnSwinが最先端の方法に対して有利に機能することを示しています。
Real-world image denoising is a practical image restoration problem that aims to obtain clean images from in-the-wild noisy input. Recently, Vision Transformer (ViT) exhibits a strong ability to capture long-range dependencies and many researchers attempt to apply ViT to image denoising tasks. However, real-world image is an isolated frame that makes the ViT build the long-range dependencies on the internal patches, which divides images into patches and disarranges the noise pattern and gradient continuity. In this article, we propose to resolve this issue by using a continuous Wavelet Sliding-Transformer that builds frequency correspondence under real-world scenes, called DnSwin. Specifically, we first extract the bottom features from noisy input images by using a CNN encoder. The key to DnSwin is to separate high-frequency and low-frequency information from the features and build frequency dependencies. To this end, we propose Wavelet Sliding-Window Transformer that utilizes discrete wavelet transform, self-attention and inverse discrete wavelet transform to extract deep features. Finally, we reconstruct the deep features into denoised images using a CNN decoder. Both quantitative and qualitative evaluations on real-world denoising benchmarks demonstrate that the proposed DnSwin performs favorably against the state-of-the-art methods.
updated: Thu Jul 28 2022 02:33:57 GMT+0000 (UTC)
published: Thu Jul 28 2022 02:33:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト