arXiv reaDer
ノイズの多い画像の超解像のための深層学習建築設計
Deep learning architectural designs for super-resolution of noisy images
ディープラーニングの最近の進歩により、単一画像の超解像(SR)研究が大幅に改善されました。ただし、アップサンプリングステップ中のノイズの増幅により、最先端の方法では、ノイズの多いバージョンの低解像度の画像から高解像度の画像を再構築できないことがよくあります。ただし、これは、目に見えないタイプの画像劣化がある未知のカメラからの画像にとって特に重要です。この作業では、ノイズ除去と超解像を共同で実行することを提案します。この目的のために、2つのアーキテクチャ設計を調査します。「ネットワーク内」は機能レベルで両方のタスクを組み合わせ、「ネットワーク前」は最初にノイズ除去を実行し、次に超解像を実行します。私たちの実験は、両方のバリアントに特定の利点があることを示しています。ネットワーク内の設計では、ノイズ除去装置を選択した場合に、トレーニングとテストのデータセットで画像の破損のタイプを調整すると、最も強力な結果が得られます。プレネットワーク設計は、既存の超解像モデルの病理学的障害のケースである、目に見えないタイプの画像破損に対して優れたパフォーマンスを発揮します。これらの調査結果が、ソースカメラまたはイメージング条件が適切に制御されていない制約の少ないシナリオでも超解像を可能にするのに役立つことを願っています。ソースコードと事前トレーニング済みモデルは、https://github.com/angelvillar96/super-resolution-noisy-imagesで入手できます。
Recent advances in deep learning have led to significant improvements in single image super-resolution (SR) research. However, due to the amplification of noise during the upsampling steps, state-of-the-art methods often fail at reconstructing high-resolution images from noisy versions of their low-resolution counterparts. However, this is especially important for images from unknown cameras with unseen types of image degradation. In this work, we propose to jointly perform denoising and super-resolution. To this end, we investigate two architectural designs: "in-network" combines both tasks at feature level, while "pre-network" first performs denoising and then super-resolution. Our experiments show that both variants have specific advantages: The in-network design obtains the strongest results when the type of image corruption is aligned in the training and testing dataset, for any choice of denoiser. The pre-network design exhibits superior performance on unseen types of image corruption, which is a pathological failure case of existing super-resolution models. We hope that these findings help to enable super-resolution also in less constrained scenarios where source camera or imaging conditions are not well controlled. Source code and pretrained models are available at https://github.com/ angelvillar96/super-resolution-noisy-images.
updated: Tue Feb 09 2021 20:09:42 GMT+0000 (UTC)
published: Tue Feb 09 2021 20:09:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト