近年、自己監視型ノイズ除去法は印象的なパフォーマンスを示しており、教師ありノイズ除去法でのノイズの多いクリーンな画像ペアの骨の折れる収集手順を回避し、実世界でのノイズ除去の適用性を高めています。よく知られている自己監視型ノイズ除去戦略の1つは、死角トレーニングスキームです。ただし、ネットワークアーキテクチャの観点から、死角ベースの自己消音装置を改善しようとする研究がいくつかあります。この論文では、死角戦略の直感的な見方を取り、隣接ピクセルを使用して操作されたピクセルを修復プロセスとして予測するプロセスを検討します。したがって、盲点ベースのノイズ除去を促進するために、U-Netなどの一般的な畳み込みニューラルネットワークに新しいマスクガイド付き残差畳み込み(MGRConv)を提案します。私たちのMGRConvは、ソフトな部分畳み込みと見なすことができ、部分畳み込み、学習可能な注意マップ、およびゲート畳み込みの間のトレードオフを見つけることができます。これにより、適切なマスク制約を使用した動的マスク学習が可能になります。部分畳み込みやゲート畳み込みとは異なり、ネットワーク学習に適度な自由度を提供します。また、学習可能なアテンションマップとは異なり、マスクのアクティブ化に外部の学習可能なパラメータを利用することも回避します。実験は、提案されたプラグアンドプレイMGRConvが、盲点ベースのノイズ除去ネットワークが既存の単一画像ベースの方法とデータセットベースの方法の両方で有望な結果に到達するのを支援できることを示しています。
In recent years, self-supervised denoising methods have shown impressive performance, which circumvent painstaking collection procedure of noisy-clean image pairs in supervised denoising methods and boost denoising applicability in real world. One of well-known self-supervised denoising strategies is the blind-spot training scheme. However, a few works attempt to improve blind-spot based self-denoiser in the aspect of network architecture. In this paper, we take an intuitive view of blind-spot strategy and consider its process of using neighbor pixels to predict manipulated pixels as an inpainting process. Therefore, we propose a novel Mask Guided Residual Convolution (MGRConv) into common convolutional neural networks, e.g. U-Net, to promote blind-spot based denoising. Our MGRConv can be regarded as soft partial convolution and find a trade-off among partial convolution, learnable attention maps, and gated convolution. It enables dynamic mask learning with appropriate mask constrain. Different from partial convolution and gated convolution, it provides moderate freedom for network learning. It also avoids leveraging external learnable parameters for mask activation, unlike learnable attention maps. The experiments show that our proposed plug-and-play MGRConv can assist blind-spot based denoising network to reach promising results on both existing single-image based and dataset-based methods.