arXiv reaDer
TWIST-GAN:時空間単一画像超解像のためのウェーブレット変換と転送GANに向けて
TWIST-GAN: Towards Wavelet Transform and Transferred GAN for Spatio-Temporal Single Image Super Resolution
単一画像超解像(SISR)は、低空間解像度で遠隔検出された画像から、微細な空間解像度で高解像度の画像を生成します。最近、深層学習と生成的敵対的ネットワーク(GAN)は、単一画像の超解像(SISR)という困難なタスクに突破口を開きました。しかしながら、生成された画像は、テクスチャ特徴表現の欠如および高周波情報などの望ましくないアーティファクトに依然として悩まされている。周波数領域ベースの時空間リモートセンシング単一画像超解像技術を提案し、さまざまな周波数帯域(TWIST-GAN)で生成的敵対的ネットワーク(GAN)と組み合わせたHR画像を再構成します。ウェーブレット変換(WT)特性と転送された生成的敵対的ネットワークを組み込んだ新しい方法を導入しました。 LR画像は、WTを使用してさまざまな周波数帯域に分割されていますが、転送生成敵対的ネットワークは、提案されたアーキテクチャを介して高周波成分を予測します。最後に、ウェーブレットの逆転送により、超解像で再構成された画像が生成されます。モデルは最初に外部DIV2Kdatasetでトレーニングされ、各画像サイズが256x256のUC MerceedLandsatリモートセンシングデータセットとSet14で検証されます。その後、転送されたGANは、計算コストの差を最小限に抑え、テクスチャ情報を改善するために、時空間リモートセンシング画像を処理するために使用されます。調査結果は、現在の最先端のアプローチと定性的および定性的に比較されます。さらに、トレーニング中にGPUメモリの約43%を節約し、バッチ正規化レイヤーを排除することで簡略化されたバージョンの実行を加速しました。
Single Image Super-resolution (SISR) produces high-resolution images with fine spatial resolutions from aremotely sensed image with low spatial resolution. Recently, deep learning and generative adversarial networks(GANs) have made breakthroughs for the challenging task of single image super-resolution (SISR). However, thegenerated image still suffers from undesirable artifacts such as, the absence of texture-feature representationand high-frequency information. We propose a frequency domain-based spatio-temporal remote sensingsingle image super-resolution technique to reconstruct the HR image combined with generative adversarialnetworks (GANs) on various frequency bands (TWIST-GAN). We have introduced a new method incorporatingWavelet Transform (WT) characteristics and transferred generative adversarial network. The LR image hasbeen split into various frequency bands by using the WT, whereas, the transfer generative adversarial networkpredicts high-frequency components via a proposed architecture. Finally, the inverse transfer of waveletsproduces a reconstructed image with super-resolution. The model is first trained on an external DIV2 Kdataset and validated with the UC Merceed Landsat remote sensing dataset and Set14 with each image sizeof 256x256. Following that, transferred GANs are used to process spatio-temporal remote sensing images inorder to minimize computation cost differences and improve texture information. The findings are comparedqualitatively and qualitatively with the current state-of-art approaches. In addition, we saved about 43% of theGPU memory during training and accelerated the execution of our simplified version by eliminating batchnormalization layers.
updated: Tue Apr 20 2021 22:12:38 GMT+0000 (UTC)
published: Tue Apr 20 2021 22:12:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト