arXiv reaDer
Transferability and Hardness of Supervised Classification Tasks
教師付き分類タスクの難易度と転送可能性を推定するための新しいアプローチを提案します。以前の研究とは異なり、私たちのアプローチはソリューションにとらわれず、トレーニングされたモデルを必要とせず、想定していません。代わりに、情報理論的なアプローチを使用してこれらの値を推定します。トレーニングラベルをランダム変数として扱い、その統計を調査します。ソースからターゲットタスクに転送するとき、2つのそのような変数間の条件付きエントロピー(つまり、2つのタスクのラベル割り当て)を考慮します。この値が転送されたモデルの損失に関連していることを分析的および経験的に示します。さらに、この値を使用してタスクの硬さを推定する方法を示します。 CelebA(40タスク)、Animals with Attributes 2(85タスク)、Caltech-UCSD Birds 200(312タスク)の3つの大規模データセットでクレームを広範囲にテストし、一緒に437の分類タスクを表します。硬度と移動性の推定値が経験的硬度と移動性と強く相関していることを示す結果を提供します。ケーススタディとして、学習済みの顔認識モデルをCelebA属性分類タスクに転送し、高度に転送可能であると推定されるタスクの最新の精度を示します。
We propose a novel approach for estimating the difficulty and transferability of supervised classification tasks. Unlike previous work, our approach is solution agnostic and does not require or assume trained models. Instead, we estimate these values using an information theoretic approach: treating training labels as random variables and exploring their statistics. When transferring from a source to a target task, we consider the conditional entropy between two such variables (i.e., label assignments of the two tasks). We show analytically and empirically that this value is related to the loss of the transferred model. We further show how to use this value to estimate task hardness. We test our claims extensively on three large scale data sets -- CelebA (40 tasks), Animals with Attributes 2 (85 tasks), and Caltech-UCSD Birds 200 (312 tasks) -- together representing 437 classification tasks. We provide results showing that our hardness and transferability estimates are strongly correlated with empirical hardness and transferability. As a case study, we transfer a learned face recognition model to CelebA attribute classification tasks, showing state of the art accuracy for tasks estimated to be highly transferable.
updated: Wed Aug 21 2019 23:35:48 GMT+0000 (UTC)
published: Wed Aug 21 2019 23:35:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト