arXiv reaDer
Rethinking the Pipeline of Demosaicing, Denoising and Super-Resolution
不完全なカラーサンプリング、ノイズ劣化、および制限された解像度は、最新のカメラシステムで避けられない3つの重要な問題です。デモザイキング(DM)、ノイズ除去(DN)、および超解像(SR)は、それぞれ上記の3つの問題を克服するためのデジタル画像処理パイプラインのコアコンポーネントです。これらの問題はそれぞれ活発に研究されてきましたが、DM、DN、SRの混合問題は実用値が高く、十分な注意が払われていません。このような混合の問題は、通常、順次ソリューション(DM \ to DN \ to SR:各メソッドを固定順序で個別に適用)によって解決されるか、タスク間の相互作用を十分に分析せずにエンドツーエンドネットワークによって単純に対処されます。その結果、最終的な画質が望ましくないパフォーマンスで低下します。この論文では、全体論的な観点から混合問題を再考し、新しい画像処理パイプラインを提案します:DN \ to SR \ toDM。広範な実験により、提案されたパイプラインを活用して通常のシーケンシャルソリューションを変更するだけで、画質を大幅に向上できることが示されています。さらに、提案されたパイプラインをエンドツーエンドネットワークに採用し、Trinity Enhancement Network(TENet)を紹介します。定量的および定性的な実験は、最先端のTENetの優位性を示しています。さらに、文献にはフルカラーのサンプルデータセットがないことに気づきました。この目的のために、新しい高品質のフルカラーでサンプリングされた実世界のデータセット、つまりPixelShift200を提供します。私たちの実験は、生の画像処理のために提案されたPixelShift200データセットの利点を示しています。
Incomplete color sampling, noise degradation, and limited resolution are the three key problems that are unavoidable in modern camera systems. Demosaicing (DM), denoising (DN), and super-resolution (SR) are core components in a digital image processing pipeline to overcome the three problems above, respectively. Although each of these problems has been studied actively, the mixture problem of DM, DN, and SR, which is a higher practical value, lacks enough attention. Such a mixture problem is usually solved by a sequential solution (applying each method independently in a fixed order: DM \to DN \to SR), or is simply tackled by an end-to-end network without enough analysis into interactions among tasks, resulting in an undesired performance drop in the final image quality. In this paper, we rethink the mixture problem from a holistic perspective and propose a new image processing pipeline: DN \to SR \to DM. Extensive experiments show that simply modifying the usual sequential solution by leveraging our proposed pipeline could enhance the image quality by a large margin. We further adopt the proposed pipeline into an end-to-end network, and present Trinity Enhancement Network (TENet). Quantitative and qualitative experiments demonstrate the superiority of our TENet to the state-of-the-art. Besides, we notice the literature lacks a full color sampled dataset. To this end, we contribute a new high-quality full color sampled real-world dataset, namely PixelShift200. Our experiments show the benefit of the proposed PixelShift200 dataset for raw image processing.
updated: Mon Mar 29 2021 19:57:02 GMT+0000 (UTC)
published: Tue May 07 2019 13:19:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト