高品質のラベル付きデータセットは、機械学習(ML)の開発、特に深層学習(DL)の開発を促進する上で重要な役割を果たします。ただし、2012年にImageNetデータセットとAlexNetモデルが登場して以来、新しいオープンソースのラベル付きビジョンデータセットのサイズはほぼ一定のままです。その結果、コンピュータビジョンコミュニティの少数の出版物だけが、Imagenetよりも桁違いに大きいデータセットの教師あり学習に取り組んでいます。このホワイトペーパーでは、このような大規模なデータセットがさまざまなビジョンタスク全体のモデルパフォーマンスに与える影響を調査するコンピュータービジョン研究ドメインを調査します。これらの影響に関するコミュニティの現在の理解を要約し、大規模なデータセットを使用したトレーニングに関連するいくつかの未解決の質問に焦点を当てます。特に、次のことに取り組んでいます。(a)コンピュータビジョン研究で現在使用されている最大のデータセットと、そのようなデータセットのトレーニングからの興味深いポイント。 (b)大規模なデータセットに対する事前トレーニングの有効性。 (c)合成データセットが直面している最近の進歩とハードル。 (d)二重降下およびサンプルの非単調性現象の概要。そして最後に、(e)生涯/継続学習と、オフライン設定での巨大なラベル付きデータセットからの学習と比較した場合の運賃についての簡単な説明。全体として、ディープラーニングの最適化に関する研究は、トレーニングルーチンを完成させ、DLモデルのデータ消費を減らすことに焦点を当てていますが、合成データセットに関する研究は、データラベリングのコストを相殺することを目的としています。ただし、当面は、パフォーマンスを向上させるために、非合成のラベル付きデータを取得することが不可欠です。
High-quality labeled datasets play a crucial role in fueling the development of machine learning (ML), and in particular the development of deep learning (DL). However, since the emergence of the ImageNet dataset and the AlexNet model in 2012, the size of new open-source labeled vision datasets has remained roughly constant. Consequently, only a minority of publications in the computer vision community tackle supervised learning on datasets that are orders of magnitude larger than Imagenet. In this paper, we survey computer vision research domains that study the effects of such large datasets on model performance across different vision tasks. We summarize the community's current understanding of those effects, and highlight some open questions related to training with massive datasets. In particular, we tackle: (a) The largest datasets currently used in computer vision research and the interesting takeaways from training on such datasets; (b) The effectiveness of pre-training on large datasets; (c) Recent advancements and hurdles facing synthetic datasets; (d) An overview of double descent and sample non-monotonicity phenomena; and finally, (e) A brief discussion of lifelong/continual learning and how it fares compared to learning from huge labeled datasets in an offline setting. Overall, our findings are that research on optimization for deep learning focuses on perfecting the training routine and thus making DL models less data hungry, while research on synthetic datasets aims to offset the cost of data labeling. However, for the time being, acquiring non-synthetic labeled data remains indispensable to boost performance.