arXiv reaDer
事前の移行画像による教師なしリモートセンシング超解像
Unsupervised Remote Sensing Super-Resolution via Migration Image Prior
最近、時間分解能の高い衛星がさまざまな実用化で注目を集めています。ただし、帯域幅とハードウェアコストの制限により、このような衛星の空間分解能はかなり低く、空間的に明示的な情報を必要とするシナリオでの可能性が大幅に制限されます。画像の解像度を向上させるために、超解像(SR)タスクに対処するために、低高解像度のペアのトレーニングに基づく多数のアプローチが提案されています。しかし、それらの成功にもかかわらず、低/高空間分解能のペアは、通常、高時間分解能の衛星で取得するのが困難であり、SRでのそのようなアプローチの使用は実用的ではありません。この論文では、「MIP」と呼ばれる新しい教師なし学習フレームワークを提案しました。これは、低/高解像度の画像ペアなしでSRタスクを実現します。まず、ランダムノイズマップが、再構築のために設計された生成的敵対的ネットワーク(GAN)に送られます。次に、提案された方法は、参照画像を事前の移行画像として潜在空間に変換する。最後に、暗黙的な方法で入力ノイズを更新し、参照画像からテクスチャと構造化情報をさらに転送します。 Draperデータセットに関する広範な実験結果は、MIPが最先端の方法よりも定量的および定性的に大幅な改善を達成していることを示しています。提案されたMIPは、http://github.com/jiaming-wang/MIPでオープンソース化されています。
Recently, satellites with high temporal resolution have fostered wide attention in various practical applications. Due to limitations of bandwidth and hardware cost, however, the spatial resolution of such satellites is considerably low, largely limiting their potentials in scenarios that require spatially explicit information. To improve image resolution, numerous approaches based on training low-high resolution pairs have been proposed to address the super-resolution (SR) task. Despite their success, however, low/high spatial resolution pairs are usually difficult to obtain in satellites with a high temporal resolution, making such approaches in SR impractical to use. In this paper, we proposed a new unsupervised learning framework, called "MIP", which achieves SR tasks without low/high resolution image pairs. First, random noise maps are fed into a designed generative adversarial network (GAN) for reconstruction. Then, the proposed method converts the reference image to latent space as the migration image prior. Finally, we update the input noise via an implicit method, and further transfer the texture and structured information from the reference image. Extensive experimental results on the Draper dataset show that MIP achieves significant improvements over state-of-the-art methods both quantitatively and qualitatively. The proposed MIP is open-sourced at http://github.com/jiaming-wang/MIP.
updated: Sun May 23 2021 14:20:28 GMT+0000 (UTC)
published: Sat May 08 2021 03:29:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト