過去数年間で、私たちは自己教師あり表現学習の目覚ましい進歩を目の当たりにしてきました。このパラダイムを通じて学んだ表現の成功と採用にもかかわらず、さまざまなトレーニング方法とデータセットがダウンストリームタスクのパフォーマンスにどのように影響するかについてはまだ多くのことが理解されていません。この論文では、自己教師あり表現学習の最も成功した人気のある変形の1つとして対照的アプローチを分析します。この分析は、トレーニングアルゴリズム、事前トレーニングデータセット、および終了タスクの観点から実行されます。 30個のエンコーダー、4個の事前トレーニングデータセット、20個の多様なダウンストリームタスクを含む700以上のトレーニング実験を調べます。私たちの実験は、教師ありモデルと比較した自己教師ありモデルのパフォーマンス、評価に使用された現在のベンチマーク、およびエンドタスクのパフォーマンスに対する事前トレーニングデータの影響に関するさまざまな質問に対処します。この作業によって提供された洞察と経験的証拠が、より良い視覚的表現を学習する上での将来の研究に役立つことを願っています。
In the past few years, we have witnessed remarkable breakthroughs in self-supervised representation learning. Despite the success and adoption of representations learned through this paradigm, much is yet to be understood about how different training methods and datasets influence performance on downstream tasks. In this paper, we analyze contrastive approaches as one of the most successful and popular variants of self-supervised representation learning. We perform this analysis from the perspective of the training algorithms, pre-training datasets and end tasks. We examine over 700 training experiments including 30 encoders, 4 pre-training datasets and 20 diverse downstream tasks. Our experiments address various questions regarding the performance of self-supervised models compared to their supervised counterparts, current benchmarks used for evaluation, and the effect of the pre-training data on end task performance. We hope the insights and empirical evidence provided by this work will help future research in learning better visual representations.