この論文は、衛星画像の雲によって遮られたピクセルを回復するためのニューラルネットワークベースのソリューションを提示します。雲を透過する超/超高周波帯域の無線周波数(RF)信号を活用して、マルチスペクトル画像の遮蔽領域を再構築します。最初のマルチモーダルマルチテンポラルクラウド除去モデルを紹介します。私たちのモデルは、公的に利用可能な衛星観測を使用し、毎日雲のない画像を生成します。実験結果は、私たちのシステムがPSNRでベースラインを8dB上回っていることを示しています。また、デジタル農業、洪水監視、山火事の検出におけるシステムの使用例も示します。将来の研究を容易にするために、処理されたデータセットをリリースします。
This paper presents a neural-network-based solution to recover pixels occluded by clouds in satellite images. We leverage radio frequency (RF) signals in the ultra/super-high frequency band that penetrate clouds to help reconstruct the occluded regions in multispectral images. We introduce the first multi-modal multi-temporal cloud removal model. Our model uses publicly available satellite observations and produces daily cloud-free images. Experimental results show that our system significantly outperforms baselines by 8dB in PSNR. We also demonstrate use cases of our system in digital agriculture, flood monitoring, and wildfire detection. We will release the processed dataset to facilitate future research.