深層学習ベースの単一画像の超解像により、非常に高速で高画質の再構成が可能になります。最近、生成的敵対的ネットワーク(ESRGAN)に基づく強化された超解像は、再構成された高解像度画像の定性的および定量的品質の両面で優れたパフォーマンスを達成しました。この論文では、2つの密ブロック間のショートカットをもう1つ追加すること、および密ブロック内の2つの畳み込みレイヤー間のショートカットを追加することを提案します。提案されたネットワークにショートカットを追加するこの単純な戦略により、勾配情報をより簡単に逆伝播できるため、より高速な学習プロセスが可能になります。改善されたESRGANに基づいて、超解像画像のさまざまな側面を学習して、再構成画像の品質を慎重に向上させるための二重再構成を提案します。実際には、超解像モデルはピクセル距離のみに基づいて事前にトレーニングされ、その後、敵対的損失と知覚的損失に基づいてモデル内のパラメーターが微調整されます。最後に、パラメータを加重加算して2つの異なるモデルを融合し、最終的な超解像モデルを取得します。実験結果は、提案された方法が実世界の画像の超解像の課題において優れた性能を達成することを示した。また、提案されたデュアル再構成により、PSNRとSSIMの両方の点で再構成画像の品質がさらに向上することも確認しました。
Deep learning-based single image super-resolution enables very fast and high-visual-quality reconstruction. Recently, an enhanced super-resolution based on generative adversarial network (ESRGAN) has achieved excellent performance in terms of both qualitative and quantitative quality of the reconstructed high-resolution image. In this paper, we propose to add one more shortcut between two dense-blocks, as well as add shortcut between two convolution layers inside a dense-block. With this simple strategy of adding more shortcuts in the proposed network, it enables a faster learning process as the gradient information can be back-propagated more easily. Based on the improved ESRGAN, the dual reconstruction is proposed to learn different aspects of the super-resolved image for judiciously enhancing the quality of the reconstructed image. In practice, the super-resolution model is pre-trained solely based on pixel distance, followed by fine-tuning the parameters in the model based on adversarial loss and perceptual loss. Finally, we fuse two different models by weighted-summing their parameters to obtain the final super-resolution model. Experimental results demonstrated that the proposed method achieves excellent performance in the real-world image super-resolution challenge. We have also verified that the proposed dual reconstruction does further improve the quality of the reconstructed image in terms of both PSNR and SSIM.