クロスモーダルリモートセンシングテキスト画像検索(RSCTIR)は、リモートセンシング(RS)画像での高速で柔軟な情報抽出を可能にする機能により、最近緊急の研究ホットスポットになっています。ただし、現在のRSCTIR手法は、主にRS画像のグローバルな特徴に焦点を合わせているため、ターゲットの関係と顕著性を反映するローカルな特徴が無視されます。この記事では、最初にグローバルおよびローカル情報(GaLR)に基づく新しいRSCTIRフレームワークを提案し、さまざまなレベルの機能を効果的に統合するためのマルチレベル情報動的融合(MIDF)モジュールを設計します。 MIDFは、ローカル情報を活用してグローバル情報を修正し、グローバル情報を利用してローカル情報を補足し、2つの動的な加算を使用して目立つ視覚的表現を生成します。グラフ畳み込みネットワーク(GCN)上の冗長ターゲットの圧力を軽減し、ローカルフィーチャのモデリング中に顕著なインスタンスに対するモデルの注意を改善するために、ノイズ除去された表現行列と拡張隣接行列(DREA)がGCNを支援するために考案されました。優れたローカル表現を作成する際に。 DREAは、類似性の高い冗長な特徴を除外するだけでなく、目立つオブジェクトの特徴を強化することにより、より強力なローカル特徴を取得します。最後に、推論中に類似性マトリックスの情報を最大限に活用するために、プラグアンドプレイの多変量再ランク付け(MR)アルゴリズムを考案しました。このアルゴリズムは、検索結果のk最近傍法を利用して逆検索を実行し、双方向検索の複数のコンポーネントを組み合わせることでパフォーマンスを向上させます。公開データセットでの広範な実験は、RSCTIRタスクでのGaLRメソッドの最先端のパフォーマンスを強く示しています。 GaLRメソッドのコード、MRアルゴリズム、および対応するファイルは、https://github.com/xiaoyuan1996/GaLRで入手できます。
Cross-modal remote sensing text-image retrieval (RSCTIR) has recently become an urgent research hotspot due to its ability of enabling fast and flexible information extraction on remote sensing (RS) images. However, current RSCTIR methods mainly focus on global features of RS images, which leads to the neglect of local features that reflect target relationships and saliency. In this article, we first propose a novel RSCTIR framework based on global and local information (GaLR), and design a multi-level information dynamic fusion (MIDF) module to efficaciously integrate features of different levels. MIDF leverages local information to correct global information, utilizes global information to supplement local information, and uses the dynamic addition of the two to generate prominent visual representation. To alleviate the pressure of the redundant targets on the graph convolution network (GCN) and to improve the model s attention on salient instances during modeling local features, the de-noised representation matrix and the enhanced adjacency matrix (DREA) are devised to assist GCN in producing superior local representations. DREA not only filters out redundant features with high similarity, but also obtains more powerful local features by enhancing the features of prominent objects. Finally, to make full use of the information in the similarity matrix during inference, we come up with a plug-and-play multivariate rerank (MR) algorithm. The algorithm utilizes the k nearest neighbors of the retrieval results to perform a reverse search, and improves the performance by combining multiple components of bidirectional retrieval. Extensive experiments on public datasets strongly demonstrate the state-of-the-art performance of GaLR methods on the RSCTIR task. The code of GaLR method, MR algorithm, and corresponding files have been made available at https://github.com/xiaoyuan1996/GaLR .