さまざまなデバイス間で自己教師ありモデルを展開するための精度と効率のトレードオフを改善するために、普遍的にスリム化可能な自己教師あり学習 (US3L と呼ばれる) を提案します。自己教師あり学習 (SSL) を普遍的にスリム化可能なネットワークに直接適応させると、トレーニング プロセスが頻繁に崩壊するため、誤動作することがわかります。次に、時間的な一貫性のあるガイダンスが普遍的にスリムなネットワークの SSL の成功の鍵であることを発見し、統一された勾配の観点からこの時間的な一貫性を確保するための損失設計に関する 3 つのガイドラインを提案します。さらに、動的サンプリングとグループ正則化戦略を提案して、トレーニングの効率と精度を同時に向上させます。 US3L メソッドは、畳み込みニューラル ネットワークとビジョン トランスフォーマーの両方で経験的に検証されています。 1 回のトレーニングと 1 つの重みのコピーだけで、私たちの方法は、認識、オブジェクト検出、インスタンス セグメンテーションなどのベンチマークで、さまざまな最先端の方法 (個別にトレーニングされているかどうかに関係なく) よりも優れています。コードは https://github.com/megvii-research/US3L-CVPR2023 で入手できます。
We propose universally slimmable self-supervised learning (dubbed as US3L) to achieve better accuracy-efficiency trade-offs for deploying self-supervised models across different devices. We observe that direct adaptation of self-supervised learning (SSL) to universally slimmable networks misbehaves as the training process frequently collapses. We then discover that temporal consistent guidance is the key to the success of SSL for universally slimmable networks, and we propose three guidelines for the loss design to ensure this temporal consistency from a unified gradient perspective. Moreover, we propose dynamic sampling and group regularization strategies to simultaneously improve training efficiency and accuracy. Our US3L method has been empirically validated on both convolutional neural networks and vision transformers. With only once training and one copy of weights, our method outperforms various state-of-the-art methods (individually trained or not) on benchmarks including recognition, object detection and instance segmentation. Our code is available at https://github.com/megvii-research/US3L-CVPR2023.