最近、ディープメトリックラーニング(DML)の重要な研究努力は、サンプルマイニングやペアの重み付けなどの最適化を容易にするために複雑なスキームを必要とする複雑なペアワイズ距離損失の設計に焦点を当てています。分類の標準的なクロスエントロピー損失は、DMLではほとんど見過ごされてきました。一見すると、クロスエントロピーはペアワイズ距離を明示的に含まないため、計量学習とは無関係で無関係であるように見える場合があります。ただし、クロスエントロピーをいくつかのよく知られている最近のペアワイズ損失にリンクする理論分析を提供します。私たちのつながりは、2つの異なる視点から描かれています。もう1つは、ラベルと学習された機能との間の相互情報についての差別的で生成的な見方です。最初に、クロスエントロピーが新しいペアワイズ損失の上限であることを明示的に示します。これは、さまざまなペアワイズ損失と同様の構造を持っています。クラス間距離を最大化しながら、クラス内距離を最小化します。結果として、クロスエントロピーの最小化は、このペアワイズ損失を最小化するための近似境界最適化(またはMajorize-Minimize)アルゴリズムと見なすことができます。次に、より一般的には、クロスエントロピーを最小化することは、実際には相互情報量を最大化することと同等であり、既知のペアワイズ損失をいくつか関連付けます。さらに、さまざまな標準ペアワイズ損失が、バインドされた関係を介して互いに明示的に関連付けられることを示します。私たちの調査結果は、クロスエントロピーが、相互に情報を最大化するためのプロキシを表していることを示しています-ペアワイズ損失は、複雑なサンプルマイニングヒューリスティックを必要とせずに。 4つの標準DMLベンチマークに対する実験は、調査結果を強く支持しています。最先端の結果を取得し、最近の複雑なDMLメソッドよりも優れています。
Recently, substantial research efforts in Deep Metric Learning (DML) focused on designing complex pairwise-distance losses, which require convoluted schemes to ease optimization, such as sample mining or pair weighting. The standard cross-entropy loss for classification has been largely overlooked in DML. On the surface, the cross-entropy may seem unrelated and irrelevant to metric learning as it does not explicitly involve pairwise distances. However, we provide a theoretical analysis that links the cross-entropy to several well-known and recent pairwise losses. Our connections are drawn from two different perspectives: one based on an explicit optimization insight; the other on discriminative and generative views of the mutual information between the labels and the learned features. First, we explicitly demonstrate that the cross-entropy is an upper bound on a new pairwise loss, which has a structure similar to various pairwise losses: it minimizes intra-class distances while maximizing inter-class distances. As a result, minimizing the cross-entropy can be seen as an approximate bound-optimization (or Majorize-Minimize) algorithm for minimizing this pairwise loss. Second, we show that, more generally, minimizing the cross-entropy is actually equivalent to maximizing the mutual information, to which we connect several well-known pairwise losses. Furthermore, we show that various standard pairwise losses can be explicitly related to one another via bound relationships. Our findings indicate that the cross-entropy represents a proxy for maximizing the mutual information -- as pairwise losses do -- without the need for convoluted sample-mining heuristics. Our experiments over four standard DML benchmarks strongly support our findings. We obtain state-of-the-art results, outperforming recent and complex DML methods.