arXiv reaDer
SoftTriple Loss:トリプレットサンプリングなしのディープメトリック学習
SoftTriple Loss: Deep Metric Learning Without Triplet Sampling
 距離計量学習(DML)は、同じクラスの例が異なるクラスの例よりも近い埋め込みを学習します。これは、トリプレット制約のある最適化問題としてキャストできます。膨大な数のトリプレット制約があるため、DMLにはサンプリング戦略が不可欠です。分類におけるディープラーニングの途方もない成功により、それはDMLに適用されました。ディープニューラルネットワーク(DNN)で埋め込みを学習する場合、各反復で使用できるのはデータのミニバッチのみです。トリプレット制約のセットは、ミニバッチ内でサンプリングする必要があります。ミニバッチは元のセットの近傍をうまくキャプチャできないため、学習された埋め込みが最適ではなくなります。逆に、分類損失であるSoftMax損失をDNNで最適化すると、特定のDMLタスクで優れたパフォーマンスを示します。 SoftMaxの定式化を調査することは私たちに刺激を与えます。私たちの分析では、SoftMaxの損失は、各クラスに単一の中心がある平滑化された3重項損失と同等であることが示されています。実際のデータでは、1つのクラスに、単一のクラスタではなく、複数のローカルクラスタを含めることができます(たとえば、鳥のポーズが異なる)。したがって、クラスごとに複数の中心を持つSoftMax損失を拡張するために、SoftTriple損失を提案します。従来のディープメトリック学習アルゴリズムと比較して、SoftTriple損失を最適化すると、最後に完全に接続されたレイヤーのサイズを少し大きくすることで、サンプリング段階なしで埋め込みを学習できます。ベンチマークの細粒度データセットでの実験は、提案された損失関数の有効性を示しています。コードはで入手できます
Distance metric learning (DML) is to learn the embeddings where examples from the same class are closer than examples from different classes. It can be cast as an optimization problem with triplet constraints. Due to the vast number of triplet constraints, a sampling strategy is essential for DML. With the tremendous success of deep learning in classifications, it has been applied for DML. When learning embeddings with deep neural networks (DNNs), only a mini-batch of data is available at each iteration. The set of triplet constraints has to be sampled within the mini-batch. Since a mini-batch cannot capture the neighbors in the original set well, it makes the learned embeddings sub-optimal. On the contrary, optimizing SoftMax loss, which is a classification loss, with DNN shows a superior performance in certain DML tasks. It inspires us to investigate the formulation of SoftMax. Our analysis shows that SoftMax loss is equivalent to a smoothed triplet loss where each class has a single center. In real-world data, one class can contain several local clusters rather than a single one, e.g., birds of different poses. Therefore, we propose the SoftTriple loss to extend the SoftMax loss with multiple centers for each class. Compared with conventional deep metric learning algorithms, optimizing SoftTriple loss can learn the embeddings without the sampling phase by mildly increasing the size of the last fully connected layer. Experiments on the benchmark fine-grained data sets demonstrate the effectiveness of the proposed loss function. Code is available at
updated: Wed Apr 15 2020 02:17:42 GMT+0000 (UTC)
published: Wed Sep 11 2019 17:47:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト