ラベル付けされたデータが少量しか利用できない環境でディープニューラルネットワークを使用したデータ効率の高い画像分類は、最近活発な研究分野となっています。ただし、既存の作品は評価に異なるデータセットを使用し、デフォルトのハイパーパラメータを使用して調整されていないベースラインと比較することが多いため、公開されたメソッド間の客観的な比較は困難です。さまざまなドメイン(自然画像、医療画像、衛星データなど)とデータタイプ(RGB、グレースケール、マルチスペクトル)にまたがる6つの多様なデータセットで構成されるデータ効率の高い画像分類のベンチマークを設計します。このベンチマークを使用して、有名な会場で2017年から2021年の間に公開されたデータ効率の高いディープラーニングのための標準的なクロスエントロピーベースラインと8つの方法を再評価します。公平で現実的な比較のために、各データセットのすべてのメソッドのハイパーパラメーターを注意深く調整します。驚いたことに、個別の検証分割で学習率、重みの減衰、およびバッチサイズを調整すると、非常に競争力のあるベースラインが得られます。これは、1つの特殊な方法を除くすべての方法を上回り、残りの方法よりも競争力があります。
Data-efficient image classification using deep neural networks in settings, where only small amounts of labeled data are available, has been an active research area in the recent past. However, an objective comparison between published methods is difficult, since existing works use different datasets for evaluation and often compare against untuned baselines with default hyper-parameters. We design a benchmark for data-efficient image classification consisting of six diverse datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). Using this benchmark, we re-evaluate the standard cross-entropy baseline and eight methods for data-efficient deep learning published between 2017 and 2021 at renowned venues. For a fair and realistic comparison, we carefully tune the hyper-parameters of all methods on each dataset. Surprisingly, we find that tuning learning rate, weight decay, and batch size on a separate validation split results in a highly competitive baseline, which outperforms all but one specialized method and performs competitively to the remaining one.