自己教師あり事前トレーニングは、多くのコンピュータービジョンタスクに有益であることが証明されていますが、費用と時間のかかる計算、大量のデータが必要であり、データの増大に敏感です。以前の研究では、ImageNetでトレーニングされた胸部X線モデルなど、ターゲットデータとは異なるデータセットで事前トレーニングされたモデルは、最初からトレーニングされたモデルよりもパフォーマンスが低いことが示されています。事前トレーニングするためのリソースが不足しているユーザーは、パフォーマンスの低い既存のモデルを使用する必要があります。このホワイトペーパーでは、既存の事前トレーニング済みモデルを使用して事前トレーニングプロセスを初期化することにより、収束時間を短縮し、精度を向上させる階層的事前トレーニング(HPT)について説明します。 16の多様なビジョンデータセットでの実験を通じて、HPTが最大80倍速く収束し、タスク全体の精度が向上し、画像拡張ポリシーまたは事前トレーニングデータの量の変更に対する自己教師あり事前トレーニングプロセスの堅牢性が向上することを示します。まとめると、HPTは、より少ない計算リソースでより優れた事前トレーニング済みの表現を取得するためのシンプルなフレームワークを提供します。
While self-supervised pretraining has proven beneficial for many computer vision tasks, it requires expensive and lengthy computation, large amounts of data, and is sensitive to data augmentation. Prior work demonstrates that models pretrained on datasets dissimilar to their target data, such as chest X-ray models trained on ImageNet, underperform models trained from scratch. Users that lack the resources to pretrain must use existing models with lower performance. This paper explores Hierarchical PreTraining (HPT), which decreases convergence time and improves accuracy by initializing the pretraining process with an existing pretrained model. Through experimentation on 16 diverse vision datasets, we show HPT converges up to 80x faster, improves accuracy across tasks, and improves the robustness of the self-supervised pretraining process to changes in the image augmentation policy or amount of pretraining data. Taken together, HPT provides a simple framework for obtaining better pretrained representations with less computational resources.