arXiv reaDer
Online Progressive Deep Metric Learning
メトリック学習、特にディープメトリック学習は、大規模な画像入力データ用に広く開発されています。ただし、多くの実際のアプリケーションでは、ベクトル化された入力データにしかアクセスできません。さらに、一方で、適切にラベル付けされたデータは、通常、注釈コストが高いために制限されます。一方、実際のデータは通常ストリーミングデータであり、オンラインで処理する必要があります。これらのシナリオでは、ファッショナブルなディープメトリック学習はもはや適切ではありません。この目的のために、従来の浅いオンラインメトリック学習を再考し、メトリックアルゴリズムベースのディープネットワークを構築するためのオンラインプログレッシブディープメトリック学習(ODML)フレームワークを新たに開発します。具体的には、オンラインのメトリック学習アルゴリズムをメトリックアルゴリズムベースのレイヤー(つまり、メトリックレイヤー)として使用し、その後に非線形レイヤーを配置し、ディープラーニングと同様の方法でこれらのレイヤーをスタックします。 1つの距離空間しか学習できない浅いオンライン距離学習(特徴変換)とは異なり、提案されたODMLは複数の階層距離空間を学習できます。さらに、漸進的かつ非線形に学習する方法で、ODMLは、利用可能なトレーニングデータが限られている場合に、従来の浅いオンラインメトリック学習よりも強力な学習能力を備えています。学習プロセスをより説明しやすく、理論的に保証するために、理論的な分析も提供しています。提案されたODMLは、いくつかの優れた特性を備えており、実際にメトリックを段階的に学習し、ベンチマークデータセットでより優れたパフォーマンスを発揮します。提案されたODMLのこれらの特性を検証するために、さまざまな設定で広範な実験が行われました。
Metric learning especially deep metric learning has been widely developed for large-scale image inputs data. However, in many real-world applications, we can only have access to vectorized inputs data. Moreover, on one hand, well-labeled data is usually limited due to the high annotation cost. On the other hand, the real data is commonly streaming data, which requires to be processed online. In these scenarios, the fashionable deep metric learning is not suitable anymore. To this end, we reconsider the traditional shallow online metric learning and newly develop an online progressive deep metric learning (ODML) framework to construct a metric-algorithm-based deep network. Specifically, we take an online metric learning algorithm as a metric-algorithm-based layer (i.e., metric layer), followed by a nonlinear layer, and then stack these layers in a fashion similar to deep learning. Different from the shallow online metric learning, which can only learn one metric space (feature transformation), the proposed ODML is able to learn multiple hierarchical metric spaces. Furthermore, in a progressively and nonlinearly learning way, ODML has a stronger learning ability than traditional shallow online metric learning in the case of limited available training data. To make the learning process more explainable and theoretically guaranteed, we also provide theoretical analysis. The proposed ODML enjoys several nice properties and can indeed learn a metric progressively and performs better on the benchmark datasets. Extensive experiments with different settings have been conducted to verify these properties of the proposed ODML.
updated: Thu Jul 22 2021 02:35:16 GMT+0000 (UTC)
published: Tue May 15 2018 01:10:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト