NASATerra衛星とNASAAqua衛星は、その経路の性質上、データのない領域であるスワスギャップを含む画像をキャプチャします。スワスギャップは関心領域(ROI)と完全に重なる可能性があり、多くの場合、画像全体が機械学習(ML)モデルで使用できなくなります。この問題は、ROIがめったに発生せず(ハリケーンなど)、発生時にスワスギャップと部分的に重なる場合にさらに悪化します。監視として注釈付きデータを使用すると、モデルは焦点の領域とスワスギャップを区別することを学習できます。ただし、注釈は高価であり、現在、既存のデータの大部分は注釈が付けられていません。したがって、CNNがROIに集中できるようにするために、スワスギャップの存在を大幅に除去する拡張手法を提案します。これにより、スワスギャップのあるデータをトレーニングに使用できます。 UC Merced Land Use Datasetで実験します。ここでは、空のポリゴン(最大20%の領域)にスワスギャップを追加し、拡張手法を適用してスワスギャップを埋めます。スワスギャップが埋められたデータで拡張手法を使用してトレーニングされたモデルを、元のスワスギャップがないデータでトレーニングされたモデルと比較し、高度に拡張されたパフォーマンスに注目します。さらに、スワスギャップに注意を払わない場合のトレーニング済みネットワークの有効性を視覚化するアクティベーションマップを使用して、定性分析を実行します。また、人間のベースラインを使用して結果を評価し、場合によっては、埋められたスワスギャップが非常にリアルに見えるため、人間の評価者でさえ元の衛星画像とスワスギャップで埋められた画像を区別しなかったことを示します。この方法はラベルのないデータを対象としているため、さまざまな空間データドメインからの大規模な注釈のないデータセットに対して広く一般化でき、影響力があります。
Due to the nature of their pathways, NASA Terra and NASA Aqua satellites capture imagery containing swath gaps, which are areas of no data. Swath gaps can overlap the region of interest (ROI) completely, often rendering the entire imagery unusable by Machine Learning (ML) models. This problem is further exacerbated when the ROI rarely occurs (e.g. a hurricane) and, on occurrence, is partially overlapped with a swath gap. With annotated data as supervision, a model can learn to differentiate between the area of focus and the swath gap. However, annotation is expensive and currently the vast majority of existing data is unannotated. Hence, we propose an augmentation technique that considerably removes the existence of swath gaps in order to allow CNNs to focus on the ROI, and thus successfully use data with swath gaps for training. We experiment on the UC Merced Land Use Dataset, where we add swath gaps through empty polygons (up to 20 percent areas) and then apply augmentation techniques to fill the swath gaps. We compare the model trained with our augmentation techniques on the swath gap-filled data with the model trained on the original swath gap-less data and note highly augmented performance. Additionally, we perform a qualitative analysis using activation maps that visualizes the effectiveness of our trained network in not paying attention to the swath gaps. We also evaluate our results with a human baseline and show that, in certain cases, the filled swath gaps look so realistic that even a human evaluator did not distinguish between original satellite images and swath gap-filled images. Since this method is aimed at unlabeled data, it is widely generalizable and impactful for large scale unannotated datasets from various space data domains.