ディープメトリックラーニングのアーキテクチャ上の一般的な選択は、畳み込みニューラルネットワークの後にグローバル平均プーリング(GAP)を使用することです。 GAP はシンプルではありますが、情報を集約するための非常に効果的な方法です。 GAP の有効性について考えられる説明の 1 つは、各特徴ベクトルが異なる意味論的エンティティを表し、GAP がそれらの凸状の組み合わせであると考えることです。この観点に従って、我々は GAP を一般化し、学習可能な一般化合計プーリング法 (GSP) を提案します。 GSP は、2 つの異なる機能によって GAP を改善します。i) 意味エンティティのサブセットを選択し、迷惑な情報を無視する方法を効果的に学習する機能、および ii) 各エンティティの重要性に対応する重みを学習します。形式的には、エントロピー平滑化された最適輸送問題を提案し、それが GAP の厳密な一般化であること、つまり、問題の具体的な実現によって GAP が得られることを示します。この最適化問題には解析的勾配があり、これを GAP の直接学習可能な代替として使用できることを示します。さらに、GSP の学習を容易にするためにゼロショットロスを提案します。 4 つの一般的な指標学習ベンチマークに関する広範な評価により、この方法の有効性を示します。コードは GSP-DML フレームワークから入手できます。
A common architectural choice for deep metric learning is a convolutional neural network followed by global average pooling (GAP). Albeit simple, GAP is a highly effective way to aggregate information. One possible explanation for the effectiveness of GAP is considering each feature vector as representing a different semantic entity and GAP as a convex combination of them. Following this perspective, we generalize GAP and propose a learnable generalized sum pooling method (GSP). GSP improves GAP with two distinct abilities: i) the ability to choose a subset of semantic entities, effectively learning to ignore nuisance information, and ii) learning the weights corresponding to the importance of each entity. Formally, we propose an entropy-smoothed optimal transport problem and show that it is a strict generalization of GAP, i.e., a specific realization of the problem gives back GAP. We show that this optimization problem enjoys analytical gradients enabling us to use it as a direct learnable replacement for GAP. We further propose a zero-shot loss to ease the learning of GSP. We show the effectiveness of our method with extensive evaluations on 4 popular metric learning benchmarks. Code is available at: GSP-DML Framework