arXiv reaDer
一般化可能な深層画像ノイズ除去のためのマスク画像トレーニング
Masked Image Training for Generalizable Deep Image Denoising
画像をキャプチャして保存するとき、デバイスは必然的にノイズを発生させます。このノイズを減らすことは、画像のノイズ除去と呼ばれる重要なタスクです。深層学習は、特にさまざまな画像タスクで注目に値する最先端の結果を達成した Transformer ベースのモデルの出現により、画像ノイズ除去の事実上の方法になりました。ただし、深層学習ベースの方法は、一般化能力の欠如に悩まされることがよくあります。たとえば、ガウス ノイズでトレーニングされたディープ モデルは、他のノイズ分布でテストするとパフォーマンスが低下する可能性があります。この問題に対処するために、マスクされたトレーニングとして知られる、ノイズ除去ネットワークの一般化パフォーマンスを向上させる新しいアプローチを提示します。この方法では、入力画像のランダムなピクセルをマスキングし、トレーニング中に不足している情報を再構築します。また、自己注意レイヤーの機能をマスクして、トレーニングとテストの不一致の影響を回避します。私たちのアプローチは、他の深層学習モデルよりも優れた一般化能力を示し、現実世界のシナリオに直接適用できます。さらに、私たちの解釈可能性分析は、私たちの方法の優位性を示しています。
When capturing and storing images, devices inevitably introduce noise. Reducing this noise is a critical task called image denoising. Deep learning has become the de facto method for image denoising, especially with the emergence of Transformer-based models that have achieved notable state-of-the-art results on various image tasks. However, deep learning-based methods often suffer from a lack of generalization ability. For example, deep models trained on Gaussian noise may perform poorly when tested on other noise distributions. To address this issue, we present a novel approach to enhance the generalization performance of denoising networks, known as masked training. Our method involves masking random pixels of the input image and reconstructing the missing information during training. We also mask out the features in the self-attention layers to avoid the impact of training-testing inconsistency. Our approach exhibits better generalization ability than other deep learning models and is directly applicable to real-world scenarios. Additionally, our interpretability analysis demonstrates the superiority of our method.
updated: Thu Mar 23 2023 09:33:44 GMT+0000 (UTC)
published: Thu Mar 23 2023 09:33:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト