ペアワイズ損失関数は広く研究されており、ディープメトリック学習(DML)のパフォーマンスを継続的に改善することが示されています。ただし、これらは主に単純なおもちゃの例に基づいた直感で設計されており、複雑な現実のケースでは、真に効果的な設計を実験的に特定することは困難です。この論文では、さまざまなペアワイズ損失関数の重み付け戦略を体系的に研究するための新しい方法論を提供し、埋め込みメモリを使用してペアの重み付けを再考します。ペアワイズ関数を分解することによって重み付けメカニズムを掘り下げ、直接の重み割り当てを使用して正と負の重みを別々に研究します。これにより、重み曲線を介してさまざまな重み関数を深く体系的に研究し、メモリベースのDMLに関する重要な観察結果を生み出す、意味のある包括的で洞察に満ちた多くの事実を特定できます。ハードネガをマイニングして簡単に破棄することが重要です。情報量が少なく冗長なネガティブですが、ポジティブペアの重み付けは役に立ちません。これにより、重み付けスキームを設計するための効率的ですが驚くほど単純なルールが得られ、さまざまな高度な損失関数を慎重に重み付けペアに設計する既存のミニバッチベースの方法とは大幅に異なります。最後に、3つの大規模な視覚的検索ベンチマークで広範な実験を行い、運動量が更新されたメモリを使用した単純な対照損失を使用して、最近のミニバッチベースのアプローチに対するメモリベースのDMLの優位性を示します。
Pair-wise loss functions have been extensively studied and shown to continuously improve the performance of deep metric learning (DML). However, they are primarily designed with intuition based on simple toy examples, and experimentally identifying the truly effective design is difficult in complicated, real-world cases. In this paper, we provide a new methodology for systematically studying weighting strategies of various pair-wise loss functions, and rethink pair weighting with an embedding memory. We delve into the weighting mechanisms by decomposing the pair-wise functions, and study positive and negative weights separately using direct weight assignment. This allows us to study various weighting functions deeply and systematically via weight curves, and identify a number of meaningful, comprehensive and insightful facts, which come up with our key observation on memory-based DML: it is critical to mine hard negatives and discard easy negatives which are less informative and redundant, but weighting on positive pairs is not helpful. This results in an efficient but surprisingly simple rule to design the weighting scheme, making it significantly different from existing mini-batch based methods which design various sophisticated loss functions to weight pairs carefully. Finally, we conduct extensive experiments on three large-scale visual retrieval benchmarks, and demonstrate the superiority of memory-based DML over recent mini-batch based approaches, by using a simple contrastive loss with momentum-updated memory.