一般的な自己教師あり事前トレーニングの実践では、ラベルのない大量のデータを一緒に収集してから、表現モデルをトレーニングする必要があります。これは、吹き替えの共同トレーニングです。ただし、データがストリーミング方式で収集される実際のシナリオでは、共同トレーニングスキームは通常、ストレージが多く、時間がかかります。より効率的な代替手段は、ストリーミングデータを使用してモデルを継続的にトレーニングすることです。これはシーケンシャルトレーニングと呼ばれます。それにもかかわらず、シーケンシャルな自己教師あり事前トレーニングがストリーミングデータでどの程度うまく機能するかは不明です。この論文では、ストリーミングデータを使用した自己教師あり事前トレーニングを調査するために徹底的な実験を行います。具体的には、3つの異なるダウンストリームタスクで4つの異なるデータシーケンスを使用した順次自己教師あり事前トレーニングの転送パフォーマンスを評価し、共同自己教師あり事前トレーニングと比較します。驚いたことに、ストリーミングデータ内の分布の変化が穏やかな場合、順次自己教師あり学習は共同トレーニングとほぼ同じパフォーマンスを示すことがわかります。分布シフトが大きいデータシーケンスの場合でも、パラメーターの正則化やデータの再生などの単純な手法を使用した順次自己教師ありトレーニングは、共同トレーニングと同等のパフォーマンスを発揮します。私たちの調査結果に基づいて、実際のアプリケーションでより効率的でありながらパフォーマンス競争力のある表現学習の実践として、順次自己教師ありトレーニングを使用することをお勧めします。
The common self-supervised pre-training practice requires collecting massive unlabeled data together and then trains a representation model, dubbed joint training. However, in real-world scenarios where data are collected in a streaming fashion, the joint training scheme is usually storage-heavy and time-consuming. A more efficient alternative is to train a model continually with streaming data, dubbed sequential training. Nevertheless, it is unclear how well sequential self-supervised pre-training performs with streaming data. In this paper, we conduct thorough experiments to investigate self-supervised pre-training with streaming data. Specifically, we evaluate the transfer performance of sequential self-supervised pre-training with four different data sequences on three different downstream tasks and make comparisons with joint self-supervised pre-training. Surprisingly, we find sequential self-supervised learning exhibits almost the same performance as the joint training when the distribution shifts within streaming data are mild. Even for data sequences with large distribution shifts, sequential self-supervised training with simple techniques, e.g., parameter regularization or data replay, still performs comparably to joint training. Based on our findings, we recommend using sequential self-supervised training as a more efficient yet performance-competitive representation learning practice for real-world applications.