arXiv reaDer
学習ベースのデモザイク、ノイズ除去、超解像度パイプラインの再考
Rethinking Learning-based Demosaicing, Denoising, and Super-Resolution Pipeline
イメージングは、通常、不完全なカラー サンプリング、ノイズの劣化、および解像度の制限が混在する問題です。この混合問題は通常、デモザイク (DM)、ノイズ除去 (DN)、および超解像 (SR) を、固定された定義済みのパイプライン (タスクの実行順序)、DM\toDN\toSR で順次適用する順次ソリューションによって解決されます。画像処理に関する最新の研究では、より高度なアーキテクチャを開発してより高い画質を実現することに重点が置かれています。パイプラインの設計にはほとんど注意が払われておらず、パイプラインが画質にどれほど重要であるかはまだ明らかではありません。この作業では、シーケンシャル ソリューションとジョイント ソリューションの両方で、学習ベースの DN、DM、および SR の混合問題に対するパイプラインの効果を包括的に研究します。一方では、シーケンシャル ソリューションでは、パイプラインが結果の画質に重大な影響を与えることがわかります。推奨されるパイプライン DN\toSR\toDM は、さまざまな実験設定とベンチマークで、他の順次パイプラインより一貫して優れたパフォーマンスをもたらします。一方、共同ソリューションでは、混合問題に対して最先端のパフォーマンスを実現するエンド ツー エンドの Trinity Pixel Enhancement NETwork (TENet) を提案します。さらに、取り外し可能なヘッドを使用して中間監視を提供することにより、特定のパイプラインを特定のエンドツーエンド ネットワークに統合できる、斬新でシンプルな方法を提示します。大規模な実験により、提案されたパイプラインを使用したエンドツーエンドのネットワークは、一貫してわずかな改善しか達成できないことが示されています。私たちの仕事は、パイプラインの調査がシーケンシャル ソリューションに適用できることを示していますが、エンド ツー エンド ネットワークではあまり必要ではありません。コード、モデル、寄贈された PixelShift200 データセットは、\url{https://github.com/guochengqian/TENet で入手できます。
Imaging is usually a mixture problem of incomplete color sampling, noise degradation, and limited resolution. This mixture problem is typically solved by a sequential solution that applies demosaicing (DM), denoising (DN), and super-resolution (SR) sequentially in a fixed and predefined pipeline (execution order of tasks), DM\toDN\toSR. The most recent work on image processing focuses on developing more sophisticated architectures to achieve higher image quality. Little attention has been paid to the design of the pipeline, and it is still not clear how significant the pipeline is to image quality. In this work, we comprehensively study the effects of pipelines on the mixture problem of learning-based DN, DM, and SR, in both sequential and joint solutions. On the one hand, in sequential solutions, we find that the pipeline has a non-trivial effect on the resulted image quality. Our suggested pipeline DN\toSR\toDM yields consistently better performance than other sequential pipelines in various experimental settings and benchmarks. On the other hand, in joint solutions, we propose an end-to-end Trinity Pixel Enhancement NETwork (TENet) that achieves state-of-the-art performance for the mixture problem. We further present a novel and simple method that can integrate a certain pipeline into a given end-to-end network by providing intermediate supervision using a detachable head. Extensive experiments show that an end-to-end network with the proposed pipeline can attain only a consistent but insignificant improvement. Our work indicates that the investigation of pipelines is applicable in sequential solutions, but is not very necessary in end-to-end networks. Code, models, and our contributed PixelShift200 dataset are available at \url{https://github.com/guochengqian/TENet
updated: Fri Mar 24 2023 19:28:51 GMT+0000 (UTC)
published: Tue May 07 2019 13:19:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト