arXiv reaDer
知覚メトリクスのバッチモード能動学習のための条件付きエントロピーの最大化
Maximizing Conditional Entropy for Batch-Mode Active Learning of Perceptual Metrics
アクティブメトリック学習は、注釈を付けるトレーニングデータのバッチ(通常は順序付けられたトリプレット)を段階的に選択して、入力ドメイン全体でメトリックの学習モデルを可能な限り迅速に改善する問題です。バッチ内の各トリプレットを個別に選択する標準的なアプローチは、多くの冗長なトリプレットを持つ相関性の高いバッチの影響を受けやすく、したがって全体的な有用性が低くなります。メトリック学習kumari2020batchの非相関バッチの選択に関する最近の作業がありますが、これらの方法は、アドホックヒューリスティックに依存して、一度に2つのトリプレット間の相関を推定します。最大エントロピー原理を使用したバッチモードのアクティブメトリック学習の新しいアプローチを紹介します。これは、トリプレットの有益性と多様性の両方をキャプチャする、最大結合エントロピーを持つバッチを集合的に選択しようとします。エントロピーは、ドロップアウトによって推定された2次統計から導出されます。単調に増加する劣モジュラエントロピー関数を利用して、グラムシュミット直交化に基づく効率的な欲張りアルゴリズムを構築します。これは、おそらく(1-1e)最適です。私たちのアプローチは、トリプレットのバッチ全体の有益性と多様性のバランスをとる統一スコアを定義する最初のバッチモードアクティブメトリック学習方法です。いくつかの実際のデータセットを使った実験は、私たちのアルゴリズムが堅牢であり、常に最先端を上回っていることを示しています。
Active metric learning is the problem of incrementally selecting batches of training data (typically, ordered triplets) to annotate, in order to progressively improve a learned model of a metric over some input domain as rapidly as possible. Standard approaches, which independently select each triplet in a batch, are susceptible to highly correlated batches with many redundant triplets and hence low overall utility. While there has been recent work on selecting decorrelated batches for metric learning kumari2020batch, these methods rely on ad hoc heuristics to estimate the correlation between two triplets at a time. We present a novel approach for batch mode active metric learning using the Maximum Entropy Principle that seeks to collectively select batches with maximum joint entropy, which captures both the informativeness and the diversity of the triplets. The entropy is derived from the second-order statistics estimated by dropout. We take advantage of the monotonically increasing submodular entropy function to construct an efficient greedy algorithm based on Gram-Schmidt orthogonalization that is provably ( 1 - 1e )-optimal. Our approach is the first batch-mode active metric learning method to define a unified score that balances informativeness and diversity for an entire batch of triplets. Experiments with several real-world datasets demonstrate that our algorithm is robust and consistently outperforms the state-of-the-art.
updated: Tue Mar 16 2021 06:04:22 GMT+0000 (UTC)
published: Mon Feb 15 2021 06:55:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト