大量のデータセットにラベルを付けるにはコストがかかります。アクティブラーニングは、ラベルのないセットから最も有益なデータのみに注釈を付けるように依頼することで、この問題に取り組むことを目的としています。自己監視型の口実タスクと独自のデータサンプラーを利用して、困難で代表的なデータを選択する、新しいアクティブラーニングアプローチを提案します。回転予測などの単純な自己監視の口実タスクの損失は、下流のタスクの損失と密接に関連していることがわかります。アクティブラーニングの反復の前に、口実タスク学習者はラベルなしセットでトレーニングされ、ラベルなしデータは、口実タスクの損失によって並べ替えられ、バッチに分割されます。アクティブラーニングの各反復では、メインタスクモデルを使用して、注釈を付けるバッチ内の最も不確実なデータをサンプリングします。さまざまな画像分類およびセグメンテーションベンチマークでこの方法を評価し、CIFAR10、Caltech-101、ImageNet、およびCityscapesで魅力的なパフォーマンスを実現します。さらに、私たちの方法が不均衡なデータセットでうまく機能し、アクティブラーニングのパフォーマンスがランダムにサンプリングされた初期ラベル付きセットの影響を受けるコールドスタート問題の効果的な解決策になる可能性があることを示します。
Labeling a large set of data is expensive. Active learning aims to tackle this problem by asking to annotate only the most informative data from the unlabeled set. We propose a novel active learning approach that utilizes self-supervised pretext tasks and a unique data sampler to select data that are both difficult and representative. We discover that the loss of a simple self-supervised pretext task, such as rotation prediction, is closely correlated to the downstream task loss. Before the active learning iterations, the pretext task learner is trained on the unlabeled set, and the unlabeled data are sorted and split into batches by their pretext task losses. In each active learning iteration, the main task model is used to sample the most uncertain data in a batch to be annotated. We evaluate our method on various image classification and segmentation benchmarks and achieve compelling performances on CIFAR10, Caltech-101, ImageNet, and Cityscapes. We further show that our method performs well on imbalanced datasets, and can be an effective solution to the cold-start problem where active learning performance is affected by the randomly sampled initial labeled set.