arXiv reaDer
ワープおよびリファイン ネットワークを使用した静止衛星画像の中間および将来のフレーム予測
Intermediate and Future Frame Prediction of Geostationary Satellite Imagery With Warp and Refine Network
静止衛星画像は、気候と天気の予報、自然エネルギー資源の計画、異常気象の予測に応用されます。正確で正確な予測を行うには、静止衛星画像のより高い空間解像度と時間解像度が重要です。最近の静止衛星の解像度は向上していますが、気候アプリケーションの長期分析は、解像度が異なるため、過去から現在までの複数の衛星を使用することに限定されています。この問題を解決するために、ワープ・アンド・リファイン・ネットワーク(WR-Net)を提案しました。 WR-Net は、オプティカル フロー ワープ コンポーネントとワープ イメージ リファインメント コンポーネントに分けられます。深層学習ベースのアプローチの代わりに TV-L1 アルゴリズムを使用して、オプティカル フロー ワープ コンポーネントを抽出しました。深層学習ベースのモデルは、RGB チャネルの人間中心のビューでトレーニングされており、グレースケールの 1 チャネル画像である静止衛星では機能しません。リファインメント ネットワークは、多時間フュージョン レイヤーを介してワープされた画像をリファインします。大縮尺の GK2A 静止気象衛星画像で 4 分間隔から 2 分間隔までの時間分解能を補間することにより、WR-Net を評価しました。さらに、WR-Net を将来のフレーム予測タスクに適用し、オプティカル フローの明示的な使用が将来のフレーム予測に役立つことを示しました。
Geostationary satellite imagery has applications in climate and weather forecasting, planning natural energy resources, and predicting extreme weather events. For precise and accurate prediction, higher spatial and temporal resolution of geostationary satellite imagery is important. Although recent geostationary satellite resolution has improved, the long-term analysis of climate applications is limited to using multiple satellites from the past to the present due to the different resolutions. To solve this problem, we proposed warp and refine network (WR-Net). WR-Net is divided into an optical flow warp component and a warp image refinement component. We used the TV-L1 algorithm instead of deep learning-based approaches to extract the optical flow warp component. The deep-learning-based model is trained on the human-centric view of the RGB channel and does not work on geostationary satellites, which is gray-scale one-channel imagery. The refinement network refines the warped image through a multi-temporal fusion layer. We evaluated WR-Net by interpolation of temporal resolution at 4 min intervals to 2 min intervals in large-scale GK2A geostationary meteorological satellite imagery. Furthermore, we applied WR-Net to the future frame prediction task and showed that the explicit use of optical flow can help future frame prediction.
updated: Wed Mar 08 2023 06:53:42 GMT+0000 (UTC)
published: Wed Mar 08 2023 06:53:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト