arXiv reaDer
地球科学画像の粗いタスク駆動型修復
Coarse-to-fine Task-driven Inpainting for Geoscience Images
地球科学画像の処理と認識には幅広い用途があります。既存の研究のほとんどは、すべての画像が鮮明であると仮定して、高品質の地球科学画像を理解することに焦点を当てています。ただし、現実世界の多くの場合、地球科学の画像には、画像の取得中にオクルージョンが含まれる場合があります。この問題は、実際にはコンピューター ビジョンとマルチメディアにおける画像修復の問題を意味します。私たちの知る限り、既存のすべての画像修復アルゴリズムは、視覚化の品質を向上させるために、遮られた領域を修復することを学習します。自然画像には優れていますが、地球科学関連のタスクを無視するため、地球科学画像には十分ではありません。この論文は、現在展開されている深層学習ベースの地球科学モデルを変更することなく、高度な視覚化品質と同時に、地球科学タスクのパフォーマンスを向上させるために閉塞領域を修復することを目的としています。地球科学画像の複雑なコンテキストのため、オクルージョンされた画像領域を再構築するために、粗から細かい敵対的コンテキスト弁別器を備えた粗から細かいエンコーダー/デコーダー ネットワークを提案します。地球科学画像のデータは限られているため、MaskMix ベースのデータ拡張方法を使用して、限られた地球科学画像データからより多くの情報を活用しています。リモート センシング シーン認識、クロスビュー ジオロケーション、セマンティック セグメンテーション タスクの 3 つの公開地球科学データセットに関する実験結果は、それぞれ提案された方法の有効性と精度を示しています。
The processing and recognition of geoscience images have wide applications. Most of existing researches focus on understanding the high-quality geoscience images by assuming that all the images are clear. However, in many real-world cases, the geoscience images might contain occlusions during the image acquisition. This problem actually implies the image inpainting problem in computer vision and multimedia. To the best of our knowledge, all the existing image inpainting algorithms learn to repair the occluded regions for a better visualization quality, they are excellent for natural images but not good enough for geoscience images by ignoring the geoscience related tasks. This paper aims to repair the occluded regions for a better geoscience task performance with the advanced visualization quality simultaneously, without changing the current deployed deep learning based geoscience models. Because of the complex context of geoscience images, we propose a coarse-to-fine encoder-decoder network with coarse-to-fine adversarial context discriminators to reconstruct the occluded image regions. Due to the limited data of geoscience images, we use a MaskMix based data augmentation method to exploit more information from limited geoscience image data. The experimental results on three public geoscience datasets for remote sensing scene recognition, cross-view geolocation and semantic segmentation tasks respectively show the effectiveness and accuracy of the proposed method.
updated: Sun Nov 20 2022 19:14:51 GMT+0000 (UTC)
published: Sun Nov 20 2022 19:14:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト