arXiv reaDer
Joint Demosaicing and Super-Resolution (JDSR): Network Design and Perceptual Optimization
 画像デモザイキングと超解像は、カラーイメージングパイプラインにおける2つの重要なタスクです。これまでのところ、それらはディープラーニングの公開文献でほとんど独立して研究されてきました。デモザイキングと超解像(JDSR)の共同問題を作成することの潜在的な利点についてはほとんどわかっていません。このホワイトペーパーでは、JDSR問題に対するエンドツーエンドの最適化ソリューションを提案し、計算イメージングにおけるその実用的な重要性を示します。私たちの技術的貢献は主に2つあります。ネットワーク設計については、前処理ステップとして、事前デモザイキングネットワーク(PDNet)でサポートされる残差密スクイーズアンドエキサイテーションネットワーク(RDSEN)を開発しました。カラーフィルターアレイ(CFA)データの空間スペクトルアテンションの問題に対処し、JDSRの残差密スクイーズアンドエキサイテーションブロック(RDSEB)を連結することにより、より良い情報フローを実現する方法について説明します。実験結果では、最新のRCANを含む以前のネットワークアーキテクチャに対して、RDSENによって大幅なPSNR / SSIMゲインを達成できることが示されています。知覚最適化では、相対論的弁別器や励起前知覚損失関数などの最新のアイデアを活用して、再構成画像のテクスチャ領域の視覚的品質をさらに改善することを提案します。私たちの広範な実験結果は、テクスチャ拡張相対論的平均生成敵対的ネットワーク(TRaGAN)が、JDSRの標準GANよりも主観的に快適な画像と客観的に低い知覚歪みスコアの両方を生成できることを示しています。最後に、NASA火星の好奇心によって収集された実際のバイエルパターンデータから高品質の画像を再構築するJDSRの利点を検証しました。
Image demosaicing and super-resolution are two important tasks in color imaging pipeline. So far they have been mostly independently studied in the open literature of deep learning; little is known about the potential benefit of formulating a joint demosaicing and super-resolution (JDSR) problem. In this paper, we propose an end-to-end optimization solution to the JDSR problem and demonstrate its practical significance in computational imaging. Our technical contributions are mainly two-fold. On network design, we have developed a Residual-Dense Squeeze-and-Excitation Networks (RDSEN) supported by a pre-demosaicing network (PDNet) as the pre-processing step. We address the issue of spatio-spectral attention for color-filter-array (CFA) data and discuss how to achieve better information flow by concatenating Residue-Dense Squeeze-and-Excitation Blocks (RDSEBs) for JDSR. Experimental results have shown that significant PSNR/SSIM gain can be achieved by RDSEN over previous network architectures including state-of-the-art RCAN. On perceptual optimization, we propose to leverage the latest ideas including relativistic discriminator and pre-excitation perceptual loss function to further improve the visual quality of textured regions in reconstructed images. Our extensive experiment results have shown that Texture-enhanced Relativistic average Generative Adversarial Network (TRaGAN) can produce both subjectively more pleasant images and objectively lower perceptual distortion scores than standard GAN for JDSR. Finally, we have verified the benefit of JDSR to high-quality image reconstruction from real-world Bayer pattern data collected by NASA Mars Curiosity.
updated: Tue Aug 04 2020 00:21:28 GMT+0000 (UTC)
published: Fri Nov 08 2019 22:01:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト