arXiv reaDer
L1BSR: Sentinel-2 L1B 画像の自己監視型単一画像超解像度のための検出器オーバーラップの活用
L1BSR: Exploiting Detector Overlap for Self-Supervised Single-Image Super-Resolution of Sentinel-2 L1B Imagery
高解像度の衛星画像は、多くの地球監視アプリケーションにとって重要な要素です。 Sentinel-2 などの衛星は、エイリアシングやバンド ミスアライメントなどの超解像アルゴリズムに適した特性を備えています。残念ながら、信頼できる高解像度 (HR) のグラウンド トゥルースがないため、このタスクへのディープ ラーニング手法の適用が制限されています。この作業では、L1BSR を提案します。これは、Sentinel-2 L1B 10m バンドの単一画像の超解像とバンド アラインメントのための深層学習ベースの方法です。この方法は、隣接するCMOS検出器によって生成されたL1B画像の重複領域を活用することにより、実際のL1Bデータで直接自己監視を使用してトレーニングされるため、HRグラウンドトゥルースは必要ありません。私たちの自己教師あり損失は、超解像度の出力画像がすべてのバンドを正しく整列させるように設計されています。これは、異なるスペクトル バンドの画像間のオプティカル フローを計算する新しいクロススペクトル レジストレーション ネットワーク (CSR) によって実現されます。 CSR ネットワークは、アンカー一貫性損失を使用した自己監督でもトレーニングされます。これは、この作業でも紹介します。合成および実際の L1B データに対する提案されたアプローチのパフォーマンスを実証し、教師ありの方法に匹敵する結果が得られることを示します。
High-resolution satellite imagery is a key element for many Earth monitoring applications. Satellites such as Sentinel-2 feature characteristics that are favorable for super-resolution algorithms such as aliasing and band-misalignment. Unfortunately the lack of reliable high-resolution (HR) ground truth limits the application of deep learning methods to this task. In this work we propose L1BSR, a deep learning-based method for single-image super-resolution and band alignment of Sentinel-2 L1B 10m bands. The method is trained with self-supervision directly on real L1B data by leveraging overlapping areas in L1B images produced by adjacent CMOS detectors, thus not requiring HR ground truth. Our self-supervised loss is designed to enforce the super-resolved output image to have all the bands correctly aligned. This is achieved via a novel cross-spectral registration network (CSR) which computes an optical flow between images of different spectral bands. The CSR network is also trained with self-supervision using an Anchor-Consistency loss, which we also introduce in this work. We demonstrate the performance of the proposed approach on synthetic and real L1B data, where we show that it obtains comparable results to supervised methods.
updated: Fri Apr 14 2023 00:17:57 GMT+0000 (UTC)
published: Fri Apr 14 2023 00:17:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト