arXiv reaDer
生成的敵対的ネットワークとSARから光学画像への変換を使用したリモートセンシング画像の雲の除去
Cloud removal in remote sensing images using generative adversarial networks and SAR-to-optical image translation
衛星画像はしばしば雲に汚染されています。衛星画像の用途が広いため、雲の除去が注目されています。雲が厚くなるにつれて、雲を取り除くプロセスはより困難になります。このような場合、再構成に近赤外線や合成開口レーダー(SAR)などの補助画像を使用するのが一般的です。この研究では、2つの生成的敵対的ネットワーク(GAN)を使用して問題の解決を試みます。 1つ目はSAR画像を光学画像に変換し、2つ目は以前のGANの変換された画像を使用して雲を除去します。また、ジェネレータネットワークでバニラU-netの代わりに拡張残差開始ブロック(DRIB)を提案し、L1損失関数に加えて構造類似性指数測定(SSIM)を使用します。拡張畳み込みによってダウンサンプリングの数を減らし、受容野を拡大すると、出力画像の品質が向上します。 SEN1-2データセットを使用して両方のGANをトレーニングおよびテストし、光学画像に合成雲を追加して曇り画像を作成しました。復元された画像は、PSNRとSSIMで評価されます。提案された方法を最先端の深層学習モデルと比較し、SARから光への変換と雲の除去の両方の部分でより正確な結果を達成します。
Satellite images are often contaminated by clouds. Cloud removal has received much attention due to the wide range of satellite image applications. As the clouds thicken, the process of removing the clouds becomes more challenging. In such cases, using auxiliary images such as near-infrared or synthetic aperture radar (SAR) for reconstructing is common. In this study, we attempt to solve the problem using two generative adversarial networks (GANs). The first translates SAR images into optical images, and the second removes clouds using the translated images of prior GAN. Also, we propose dilated residual inception blocks (DRIBs) instead of vanilla U-net in the generator networks and use structural similarity index measure (SSIM) in addition to the L1 Loss function. Reducing the number of downsamplings and expanding receptive fields by dilated convolutions increase the quality of output images. We used the SEN1-2 dataset to train and test both GANs, and we made cloudy images by adding synthetic clouds to optical images. The restored images are evaluated with PSNR and SSIM. We compare the proposed method with state-of-the-art deep learning models and achieve more accurate results in both SAR-to-optical translation and cloud removal parts.
updated: Tue Dec 22 2020 17:19:14 GMT+0000 (UTC)
published: Tue Dec 22 2020 17:19:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト