arXiv reaDer
衛星画像復元のためのゼロショットフレームワーク
Zero shot framework for satellite image restoration
衛星画像は通常、複数の歪みの影響を受けます。大気の変化、表面の反射率、太陽の照度、表示ジオメトリなどのさまざまな要因が衛星画像の品質に影響を与えるため、下流のタスクへの適用が制限されます。教師ありネットワークでは、ペアのデータセットが利用できることが強く前提となります。その結果、この問題に対処するために多くの教師なしアルゴリズムが提案されてきました。これらの方法は、画像形成モデルを使用して、劣化した画像の大規模なデータセットを合成的に生成します。次に、ニューラル ネットワークは敵対的損失を使用してトレーニングされ、歪んだ領域からの画像とクリーンな領域からの画像を区別します。ただし、これらの方法は、生成メカニズムに必ずしも準拠していない実際のイメージでテストすると、次善のパフォーマンスをもたらします。また、大量のトレーニング データが必要であり、利用可能な画像が少数しかない場合には不適切になります。これらの重要な問題に対処するために、衛星画像復元のための歪みの解きほぐしと知識の蒸留フレームワークを提案します。私たちのアルゴリズムでは、復元される歪んだ衛星画像と、同様のセマンティクスを持つ参照画像の 2 つの画像のみが必要です。具体的には、まず歪みを解くメカニズムを提案します。これにより、解きほぐされた歪みと参照画像を使用して、さまざまな程度の歪みを持つ画像を生成することができます。次に、生成された画像ペアを使用して復元ネットワークをトレーニングするための知識蒸留の使用を提案します。最後のステップとして、歪んだ画像が復元ネットワークを通過して最終出力が得られます。アブレーション研究は、私たちが提案したメカニズムが歪みをうまく解消することを示しています。
Satellite images are typically subject to multiple distortions. Different factors affect the quality of satellite images, including changes in atmosphere, surface reflectance, sun illumination, viewing geometries etc., limiting its application to downstream tasks. In supervised networks, the availability of paired datasets is a strong assumption. Consequently, many unsupervised algorithms have been proposed to address this problem. These methods synthetically generate a large dataset of degraded images using image formation models. A neural network is then trained with an adversarial loss to discriminate between images from distorted and clean domains. However, these methods yield suboptimal performance when tested on real images that do not necessarily conform to the generation mechanism. Also, they require a large amount of training data and are rendered unsuitable when only a few images are available. We propose a distortion disentanglement and knowledge distillation framework for satellite image restoration to address these important issues. Our algorithm requires only two images: the distorted satellite image to be restored and a reference image with similar semantics. Specifically, we first propose a mechanism to disentangle distortion. This enables us to generate images with varying degrees of distortion using the disentangled distortion and the reference image. We then propose the use of knowledge distillation to train a restoration network using the generated image pairs. As a final step, the distorted image is passed through the restoration network to get the final output. Ablation studies show that our proposed mechanism successfully disentangles distortion.
updated: Mon Jun 05 2023 14:34:58 GMT+0000 (UTC)
published: Mon Jun 05 2023 14:34:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト