ディープニューラルネットワークは、画像分類のゴールドスタンダードです。ただし、通常、優れたパフォーマンスを実現するには大量のデータが必要です。この作業では、クラスごとにいくつかのラベル付きの例を使用して画像分類の問題に焦点を当て、比較的小さなネットワークのアンサンブルを使用してデータ効率を向上させます。初めて、私たちの仕事は、人気のあるデータセットとアーキテクチャを使用した広範な検証を通じて、小さなデータを持つドメインでのニューラルアンサンブルの既存の概念を広く研究します。ネットワークのアンサンブルを、固定された計算バジェットの合計を前提として、より深いまたはより広い単一の競合他社と比較します。比較的浅いネットワークをアンサンブルすることは、小さなデータセットから学習するための現在の最先端のアプローチよりも一般的に優れている、シンプルで効果的な手法であることを示します。最後に、より単純な関数を学習するため、どの神経集団がよりサンプル効率が高いかによる解釈を示します。
Deep neural networks represent the gold standard for image classification. However, they usually need large amounts of data to reach superior performance. In this work, we focus on image classification problems with a few labeled examples per class and improve data efficiency by using an ensemble of relatively small networks. For the first time, our work broadly studies the existing concept of neural ensembling in domains with small data, through extensive validation using popular datasets and architectures. We compare ensembles of networks to their deeper or wider single competitors given a total fixed computational budget. We show that ensembling relatively shallow networks is a simple yet effective technique that is generally better than current state-of-the-art approaches for learning from small datasets. Finally, we present our interpretation according to which neural ensembles are more sample efficient because they learn simpler functions.