アクティブラーニング(AL)アルゴリズムは、注釈に最適なデータのサブセットを特定することを目的としているため、ディープニューラルネットワーク(DNN)は、このラベル付きサブセットでトレーニングしたときにパフォーマンスが向上します。 ALは、データのラベル付けコストが高く、実務家がモデルのパフォーマンスを向上させるためにあらゆるツールを自由に使用できる産業規模の設定で特に影響を与えます。自己監視事前トレーニング(SSP)の最近の成功は、モデルのパフォーマンスを向上させるために、ラベルのない豊富なデータを利用することの重要性を浮き彫りにしています。 ALとSSPを組み合わせることで、ラベル付けされていないデータを利用すると同時に、特に有益なサンプルのラベル付けとトレーニングを行うことができます。この作業では、ImageNetでALとSSPの組み合わせを研究します。小さなおもちゃのデータセット(文献の典型的なベンチマーク設定)でのパフォーマンスは、アクティブラーニングによって選択されたクラスの不均衡なサンプルのため、ImageNetでのパフォーマンスを表していないことがわかりました。私たちがテストする既存のベースラインの中で、さまざまな小規模および大規模設定で人気のあるALアルゴリズムは、ランダムサンプリングよりも優れたパフォーマンスを発揮しません。クラスの不均衡の問題を解決するために、既存の方法よりも注釈用にバランスの取れたサンプルを選択することにより、ランダムサンプリングよりも一貫して優れた、シンプルでスケーラブルなALアルゴリズムであるバランス選択(BASE)を提案します。私たちのコードはhttps://github.com/zeyademam/active_learningで入手できます。
Active learning (AL) algorithms aim to identify an optimal subset of data for annotation, such that deep neural networks (DNN) can achieve better performance when trained on this labeled subset. AL is especially impactful in industrial scale settings where data labeling costs are high and practitioners use every tool at their disposal to improve model performance. The recent success of self-supervised pretraining (SSP) highlights the importance of harnessing abundant unlabeled data to boost model performance. By combining AL with SSP, we can make use of unlabeled data while simultaneously labeling and training on particularly informative samples. In this work, we study a combination of AL and SSP on ImageNet. We find that performance on small toy datasets -- the typical benchmark setting in the literature -- is not representative of performance on ImageNet due to the class imbalanced samples selected by an active learner. Among the existing baselines we test, popular AL algorithms across a variety of small and large scale settings fail to outperform random sampling. To remedy the class-imbalance problem, we propose Balanced Selection (BASE), a simple, scalable AL algorithm that outperforms random sampling consistently by selecting more balanced samples for annotation than existing methods. Our code is available at: https://github.com/zeyademam/active_learning .