arXiv reaDer
パンシャープンのためのローカル/グローバル トランスフォーマー拡張アンフォールディング ネットワーク
Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening
パンシャープンは、対応するパンクロマティック (PAN) 画像のガイダンスを使用して、低解像度マルチスペクトル (LrMS) 画像の空間解像度を向上させることを目的としています。深層学習 (DL) ベースのパンシャープン手法は有望なパフォーマンスを達成していますが、それらのほとんどには 2 つの欠点があります。 1 つには、普遍的に採用されているブラック ボックスの原則により、モデルの解釈可能性が制限されます。もう 1 つの理由として、既存の DL ベースの方法では、ローカルとグローバルの依存関係を同時に効率的に取得できず、必然的に全体的なパフォーマンスが制限されます。これらの問題に対処するために、最初に高解像度マルチスペクトル (HrMS) 画像の劣化プロセスを統一された変分最適化問題として定式化し、設計された反復近位勾配降下 (PGD) アルゴリズムによってそのデータと以前のサブ問題を交互に解決します。さらに、Local-Global Transformer (LGT) をカスタマイズして、ローカルとグローバルの依存関係を同時にモデル化し、画像のノイズ除去のために LGT ベースの事前モジュールをさらに定式化します。以前のモジュールに加えて、軽量のデータ モジュールも設計しています。最後に、各反復段階でデータと前のモジュールを連続的に統合することにより、解釈可能な MS パンシャープニングのために、反復アルゴリズムを段階ごとの展開ネットワークである Local-Global Transformer Enhanced Unfolding Network (LGTEUN) に展開します。 3 つの衛星データ セットに関する包括的な実験結果は、最先端の (SOTA) 方法と比較した LGTEUN の有効性と効率性を示しています。ソース コードは https://github.com/lms-07/LGTEUN で入手できます。
Pan-sharpening aims to increase the spatial resolution of the low-resolution multispectral (LrMS) image with the guidance of the corresponding panchromatic (PAN) image. Although deep learning (DL)-based pan-sharpening methods have achieved promising performance, most of them have a two-fold deficiency. For one thing, the universally adopted black box principle limits the model interpretability. For another thing, existing DL-based methods fail to efficiently capture local and global dependencies at the same time, inevitably limiting the overall performance. To address these mentioned issues, we first formulate the degradation process of the high-resolution multispectral (HrMS) image as a unified variational optimization problem, and alternately solve its data and prior subproblems by the designed iterative proximal gradient descent (PGD) algorithm. Moreover, we customize a Local-Global Transformer (LGT) to simultaneously model local and global dependencies, and further formulate an LGT-based prior module for image denoising. Besides the prior module, we also design a lightweight data module. Finally, by serially integrating the data and prior modules in each iterative stage, we unfold the iterative algorithm into a stage-wise unfolding network, Local-Global Transformer Enhanced Unfolding Network (LGTEUN), for the interpretable MS pan-sharpening. Comprehensive experimental results on three satellite data sets demonstrate the effectiveness and efficiency of LGTEUN compared with state-of-the-art (SOTA) methods. The source code is available at https://github.com/lms-07/LGTEUN.
updated: Fri Apr 28 2023 03:34:36 GMT+0000 (UTC)
published: Fri Apr 28 2023 03:34:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト