arXiv reaDer
マルチラベル画像検索のためのインスタンス加重中央類似性
Instance-weighted Central Similarity for Multi-label Image Retrieval
ディープハッシュは、高次元のデータポイントをバイナリコードにエンコードして効率的に検索することにより、大規模な画像検索に広く適用されています。ペアワイズ/トリプレット類似性ベースのハッシュ学習と比較して、中央類似性ベースのハッシュは、グローバルデータ分布をより効率的にキャプチャできます。ただし、マルチラベル画像検索の場合、以前の方法では、重みが等しい複数のハッシュセンターのみを使用して、学習ターゲットとして1つの重心を生成します。これは、ハッシュセンターの重みと画像内のインスタンス領域の比率との関係を無視します。上記の問題に対処するために、ハッシュコードに対応する中心の重みを自動的に学習する2段階の代替最適化アプローチであるインスタンス加重中央類似性(ICS)を提案します。まず、最大エントロピー正則化を適用して、1つのハッシュ中心が損失関数を支配するのを防ぎ、射影勾配降下法を介して中心の重みを計算します。次に、固定中心重みを使用した標準的なバックプロパゲーションによってニューラルネットワークパラメーターを更新します。さらに重要なことに、学習された中心の重みは、画像内の前景インスタンスの比率を十分に反映できます。私たちの方法は、画像検索ベンチマークで最先端のパフォーマンスを達成し、特にMS COCOデータセットでmAPを1.6%〜6.4%改善します。
Deep hashing has been widely applied to large-scale image retrieval by encoding high-dimensional data points into binary codes for efficient retrieval. Compared with pairwise/triplet similarity based hash learning, central similarity based hashing can more efficiently capture the global data distribution. For multi-label image retrieval, however, previous methods only use multiple hash centers with equal weights to generate one centroid as the learning target, which ignores the relationship between the weights of hash centers and the proportion of instance regions in the image. To address the above issue, we propose a two-step alternative optimization approach, Instance-weighted Central Similarity (ICS), to automatically learn the center weight corresponding to a hash code. Firstly, we apply the maximum entropy regularizer to prevent one hash center from dominating the loss function, and compute the center weights via projection gradient descent. Secondly, we update neural network parameters by standard back-propagation with fixed center weights. More importantly, the learned center weights can well reflect the proportion of foreground instances in the image. Our method achieves the state-of-the-art performance on the image retrieval benchmarks, and especially improves the mAP by 1.6%-6.4% on the MS COCO dataset.
updated: Sat Aug 28 2021 05:32:32 GMT+0000 (UTC)
published: Wed Aug 11 2021 15:18:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト