arXiv reaDer
LG-BPN: 自己管理型の現実世界のノイズ除去のためのローカルおよびグローバル ブラインド パッチ ネットワーク
LG-BPN: Local and Global Blind-Patch Network for Self-Supervised Real-World Denoising
単純化された仮定の下での合成ノイズに関する重要な結果にもかかわらず、ほとんどの自己教師付きノイズ除去方法は、高度な自己教師付きブラインド スポット ネットワーク (BSN) を含む強力な空間ノイズ相関のために、実際のノイズの下では失敗します。現実世界のノイズ除去を対象とする最近の方法では、この空間相関を無視するか、相関を過小評価するために細かいテクスチャを破壊することによって制限されます。この論文では、自己教師あり実世界のノイズ除去のための LG-BPN と呼ばれる新しい方法を提示します。これは、空間相関統計をネットワーク設計に取り入れてローカル詳細復元を行い、長距離依存関係モデリング機能を以前の CNN にもたらします。ベースの BSN メソッド。まず、相関統計に基づいて、密にサンプリングされたパッチマスク畳み込みモジュールを提案します。ノイズ相関の低い隣接ピクセルをより多く考慮に入れることで、より高密度の局所受容野を可能にし、微細構造の回復を強化するためのより有用な情報を保持します。次に、拡張された Transformer ブロックを提案して、BSN で遠隔コンテキストの利用を可能にします。このグローバルな認識は、以前の CNN ベースの BSN では完全に解決できない BSN の本質的な欠陥に対処します。BSN の受容野は盲点要件によって制約されます。これらの 2 つの設計により、LG-BPN は詳細な構造とグローバルな相互作用の両方を盲目的に完全に活用できます。実世界のデータセットに関する広範な結果は、私たちの方法の優れたパフォーマンスを示しています。 https://github.com/Wang-XIaoDingdd/LGBPN
Despite the significant results on synthetic noise under simplified assumptions, most self-supervised denoising methods fail under real noise due to the strong spatial noise correlation, including the advanced self-supervised blind-spot networks (BSNs). For recent methods targeting real-world denoising, they either suffer from ignoring this spatial correlation, or are limited by the destruction of fine textures for under-considering the correlation. In this paper, we present a novel method called LG-BPN for self-supervised real-world denoising, which takes the spatial correlation statistic into our network design for local detail restoration, and also brings the long-range dependencies modeling ability to previously CNN-based BSN methods. First, based on the correlation statistic, we propose a densely-sampled patch-masked convolution module. By taking more neighbor pixels with low noise correlation into account, we enable a denser local receptive field, preserving more useful information for enhanced fine structure recovery. Second, we propose a dilated Transformer block to allow distant context exploitation in BSN. This global perception addresses the intrinsic deficiency of BSN, whose receptive field is constrained by the blind spot requirement, which can not be fully resolved by the previous CNN-based BSNs. These two designs enable LG-BPN to fully exploit both the detailed structure and the global interaction in a blind manner. Extensive results on real-world datasets demonstrate the superior performance of our method. https://github.com/Wang-XIaoDingdd/LGBPN
updated: Sun Apr 02 2023 13:32:16 GMT+0000 (UTC)
published: Sun Apr 02 2023 13:32:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト