arXiv reaDer
マルチラベルリモートセンシング画像検索と検索のための新しいトリプレットサンプリング法
A Novel Triplet Sampling Method for Multi-Label Remote Sensing Image Search and Retrieval
リモートセンシング(RS)画像間の類似性を学習することは、コンテンツベースのRS画像検索(CBIR)の基盤を形成します。最近、画像の意味的類似性を埋め込み空間にマッピングするディープメトリック学習アプローチがRSで非常に人気があります。距離空間を学習するための一般的なアプローチは、アンカーと呼ばれる参照画像と類似した(正の)画像と異なる(負の)画像のトリプレットの選択に依存しています。トリプレットの選択は、特にマルチラベルRS CBIRの場合、難しい作業です。マルチラベルRS CBIRでは、各トレーニング画像に複数のクラスラベルの注釈が付けられます。この問題に対処するために、この論文では、マルチラベルRS CBIR問題に対して定義されたディープニューラルネットワーク(DNN)のフレームワークにおける新しいトリプレットサンプリング方法を提案します。提案された方法は、2つの主要なステップに基づいて、最も代表的で有益なトリプレットの小さなセットを選択します。最初のステップでは、埋め込みスペースで互いに多様なアンカーのセットが、反復アルゴリズムを使用して現在のミニバッチから選択されます。 2番目のステップでは、新しいランキング戦略に基づいて画像間の関連性、硬さ、多様性を評価することにより、アンカーごとに異なるポジティブ画像とネガティブ画像のセットを選択します。 2つのマルチラベルベンチマークで得られた実験結果は、DNNのコンテキストで最も有益で代表的なトリプレットを選択すると、次の結果が得られることを示しています。i)パフォーマンスを大幅に損なうことなくDNNのトレーニングフェーズの計算の複雑さを軽減します。 ii)有益なトリプレットが高速収束を可能にするため、学習速度が向上します。提案された方法のコードは、https://git.tu-berlin.de/rsim/image-retrieval-from-tripletsで公開されています。
Learning the similarity between remote sensing (RS) images forms the foundation for content based RS image retrieval (CBIR). Recently, deep metric learning approaches that map the semantic similarity of images into an embedding space have been found very popular in RS. A common approach for learning the metric space relies on the selection of triplets of similar (positive) and dissimilar (negative) images to a reference image called as an anchor. Choosing triplets is a difficult task particularly for multi-label RS CBIR, where each training image is annotated by multiple class labels. To address this problem, in this paper we propose a novel triplet sampling method in the framework of deep neural networks (DNNs) defined for multi-label RS CBIR problems. The proposed method selects a small set of the most representative and informative triplets based on two main steps. In the first step, a set of anchors that are diverse to each other in the embedding space is selected from the current mini-batch using an iterative algorithm. In the second step, different sets of positive and negative images are chosen for each anchor by evaluating relevancy, hardness, and diversity of the images among each other based on a novel ranking strategy. Experimental results obtained on two multi-label benchmark achieves show that the selection of the most informative and representative triplets in the context of DNNs results in: i) reducing the computational complexity of the training phase of the DNNs without any significant loss on the performance; and ii) an increase in learning speed since informative triplets allow fast convergence. The code of the proposed method is publicly available at https://git.tu-berlin.de/rsim/image-retrieval-from-triplets.
updated: Sat May 08 2021 09:16:09 GMT+0000 (UTC)
published: Sat May 08 2021 09:16:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト