arXiv reaDer
マルチスペクトル衛星画像のオンボードパノプティコンセグメンテーションに向けて
Towards On-Board Panoptic Segmentation of Multispectral Satellite Images
低電力の組み込みコンピューティングデバイスとリモートセンシング機器の飛躍的な進歩により、地上でデータを処理する前に高価なデータ転送ステップを含む従来の衛星画像処理パイプラインは、キャプチャされたデータのオンボード処理に置き換えられています。このパラダイムシフトにより、衛星自体に搭載された重要で時間に敏感な分析インテリジェンスをタイムリーに取得できます。ただし、現在、マルチスペクトル衛星画像のオンボード処理は、分類およびセグメンテーションタスクに限定されています。この処理を次の論理レベルに拡張して、この論文では、マルチスペクトル衛星画像のオンボードパノプティコンセグメンテーションのための軽量パイプラインを提案します。パノプティコンセグメンテーションは、農地からの収量推定から複雑な軍事用途のインテリジェンスに至るまで、主要な経済的および環境的洞察を提供します。それにもかかわらず、オンボードインテリジェンス抽出は、時間的観測の喪失と単一の画像サンプルから予測を生成する必要があるため、いくつかの課題を引き起こします。この課題に対処するために、複数のモードからのデータを活用することによってセグメンテーションの精度を向上させるために、クロスモダリティ注意ベースの融合戦略に基づくマルチモーダル教師ネットワークを提案します。また、このマルチモーダル教師ネットワークによって学習された知識を、単一フレーム入力のみを受け取り、車載環境により適したユニモーダル学生に転送するためのオンライン知識蒸留フレームワークを提案します。オンボード処理設定を考慮したPASTISマルチスペクトルパノプティコンセグメンテーションデータセットを使用して、既存の最先端のパノプティコンセグメンテーションモデルに対してアプローチのベンチマークを行います。私たちの評価は、既存の最先端モデルと比較して、精度メトリックが大幅に向上していることを示しています。
With tremendous advancements in low-power embedded computing devices and remote sensing instruments, the traditional satellite image processing pipeline which includes an expensive data transfer step prior to processing data on the ground is being replaced by on-board processing of captured data. This paradigm shift enables critical and time-sensitive analytic intelligence to be acquired in a timely manner on-board the satellite itself. However, at present, the on-board processing of multi-spectral satellite images is limited to classification and segmentation tasks. Extending this processing to its next logical level, in this paper we propose a lightweight pipeline for on-board panoptic segmentation of multi-spectral satellite images. Panoptic segmentation offers major economic and environmental insights, ranging from yield estimation from agricultural lands to intelligence for complex military applications. Nevertheless, the on-board intelligence extraction raises several challenges due to the loss of temporal observations and the need to generate predictions from a single image sample. To address this challenge, we propose a multimodal teacher network based on a cross-modality attention-based fusion strategy to improve the segmentation accuracy by exploiting data from multiple modes. We also propose an online knowledge distillation framework to transfer the knowledge learned by this multi-modal teacher network to a uni-modal student which receives only a single frame input, and is more appropriate for an on-board environment. We benchmark our approach against existing state-of-the-art panoptic segmentation models using the PASTIS multi-spectral panoptic segmentation dataset considering an on-board processing setting. Our evaluations demonstrate a substantial increase in accuracy metrics compared to the existing state-of-the-art models.
updated: Tue Apr 05 2022 03:10:39 GMT+0000 (UTC)
published: Tue Apr 05 2022 03:10:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト