arXiv reaDer
デュアルズーム観測からの実世界の超解像のための自己監視学習
Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations
この論文では、参照ベースの超解像(RefSR)における2つの難しい問題、(i)適切な参照画像の選択方法、および(ii)自己監視方式で実世界のRefSRを学習する方法について検討します。特に、デュアルカメラズーム(SelfDZSR)での観測からの実世界の画像SRのための新しい自己監視学習アプローチを提示します。最初の問題では、ズームの小さい(望遠)画像のSRをガイドするための参照として、ズームの大きい(望遠)画像を自然に活用できます。 2番目の問題では、SelfDZSRは深いネットワークを学習して、望遠画像と同じ解像度で短焦点画像のSR結果を取得します。この目的のために、監視情報として追加の高解像度画像の代わりに望遠画像を取得し、対応する短焦点画像パッチを超解像するための参照としてその中からパッチを選択します。短焦点低解像度(LR)画像と望遠グラウンドトゥルース(GT)画像の間のさまざまなミスアライメントの影響を軽減するために、劣化モデルを設計し、GTをGTと位置合わせされた疑似LR画像にマッピングします。次に、疑似LRおよびLR画像を提案された適応空間トランスネットワーク(AdaSTN)に供給して、LR機能を変形させることができます。テスト中、SelfDZSRを直接展開して、望遠画像を参照して短焦点画像全体を超解像することができます。実験は、私たちの方法が最先端技術に対してより良い定量的および定性的性能を達成することを示しています。コードと事前トレーニング済みモデルは公開されます。
In this paper, we consider two challenging issues in reference-based super-resolution (RefSR), (i) how to choose a proper reference image, and (ii) how to learn real-world RefSR in a self-supervised manner. Particularly, we present a novel self-supervised learning approach for real-world image SR from observations at dual camera zooms (SelfDZSR). For the first issue, the more zoomed (telephoto) image can be naturally leveraged as the reference to guide the SR of the lesser zoomed (short-focus) image. For the second issue, SelfDZSR learns a deep network to obtain the SR result of short-focal image and with the same resolution as the telephoto image. For this purpose, we take the telephoto image instead of an additional high-resolution image as the supervision information and select a patch from it as the reference to super-resolve the corresponding short-focus image patch. To mitigate the effect of various misalignment between the short-focus low-resolution (LR) image and telephoto ground-truth (GT) image, we design a degradation model and map the GT to a pseudo-LR image aligned with GT. Then the pseudo-LR and LR image can be fed into the proposed adaptive spatial transformer networks (AdaSTN) to deform the LR features. During testing, SelfDZSR can be directly deployed to super-solve the whole short-focus image with the reference of telephoto image. Experiments show that our method achieves better quantitative and qualitative performance against state-of-the-arts. The code and pre-trained models will be publicly available.
updated: Wed Mar 02 2022 13:30:56 GMT+0000 (UTC)
published: Wed Mar 02 2022 13:30:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト