arXiv reaDer
少数ショットの細粒度画像分類のためのオブジェクト認識長短距離空間アラインメント
Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification
数ショットのきめの細かい画像分類の目標は、サポートセット内のこのクラスのサンプルがわずかしかない場合に、クエリセット内でめったに見られないきめの細かいオブジェクトを認識することです。以前の作品は、さまざまなきめの細かいクラスを区別するための限られた数のトレーニングサンプルから識別画像の特徴を学習することに焦点を当てていますが、任意の変更を加えたクエリ画像とサポート画像の間の識別意味特徴の空間的配置も無視します。各サポートとクエリのペア間の意味的類似性を計算するために重要です。この作業では、前景オブジェクト機能拡張(FOE)モジュール、長距離意味対応(LSC)モジュール、および短距離空間操作で構成される、オブジェクトを意識した長短距離空間アライメントアプローチを提案します。 (SSM)モジュール。 FOEは、背景の乱れを弱め、前景のオブジェクトの応答を高めるために開発されました。サポートクエリ画像ペア間の長距離オブジェクト特徴の不整合の問題に対処するために、LSCは、設計された特徴類似性メトリックによって転送可能な長距離セマンティック対応を学習するために提案されています。さらに、SSMモジュールは、長距離ステップの後に変換されたサポート機能を改良して、短距離の不整合機能(またはローカル詳細)をクエリ機能と位置合わせするために開発されました。 4つのベンチマークデータセットで広範な実験が行われ、その結果は、1ショットと5ショットの両方の分類シナリオで、ほとんどの最先端の方法よりも優れたパフォーマンスを示しています。
The goal of few-shot fine-grained image classification is to recognize rarely seen fine-grained objects in the query set, given only a few samples of this class in the support set. Previous works focus on learning discriminative image features from a limited number of training samples for distinguishing various fine-grained classes, but ignore one important fact that spatial alignment of the discriminative semantic features between the query image with arbitrary changes and the support image, is also critical for computing the semantic similarity between each support-query pair. In this work, we propose an object-aware long-short-range spatial alignment approach, which is composed of a foreground object feature enhancement (FOE) module, a long-range semantic correspondence (LSC) module and a short-range spatial manipulation (SSM) module. The FOE is developed to weaken background disturbance and encourage higher foreground object response. To address the problem of long-range object feature misalignment between support-query image pairs, the LSC is proposed to learn the transferable long-range semantic correspondence by a designed feature similarity metric. Further, the SSM module is developed to refine the transformed support feature after the long-range step to align short-range misaligned features (or local details) with the query features. Extensive experiments have been conducted on four benchmark datasets, and the results show superior performance over most state-of-the-art methods under both 1-shot and 5-shot classification scenarios.
updated: Mon Aug 30 2021 10:10:29 GMT+0000 (UTC)
published: Mon Aug 30 2021 10:10:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト