ImageNetは、コンピュータービジョンモデルの品質を評価するための主要なデータセットとして機能します。今日の一般的な方法は、専門家によって設計および調整されたオーダーメイドのスキームを使用して各アーキテクチャをトレーニングすることです。このホワイトペーパーでは、ImageNetでバックボーンをトレーニングするための統一されたスキームを紹介します。 USI(Unified Scheme for ImageNet)という名前のスキームは、知識の蒸留と最新のトリックに基づいています。異なるモデル間で調整やハイパーパラメータの調整を行う必要がなく、トレーニング時間の点で効率的です。 USIは、CNN、トランスフォーマー、モバイル指向、MLPのみなど、さまざまなアーキテクチャでテストされます。テストされたすべてのモデルで、USIは以前の最先端の結果を上回っています。したがって、ImageNetのトレーニングを専門家向けのタスクから自動のシームレスなルーチンに変換することができます。 USIは任意のバックボーンを受け入れ、それを最高の結果にトレーニングするため、系統的な比較を実行し、速度精度のパレート曲線に沿って最も効率的なバックボーンを特定することもできます。実装は次の場所で入手できます:https://github.com/Alibaba-MIIL/Solving_ImageNet
ImageNet serves as the primary dataset for evaluating the quality of computer-vision models. The common practice today is training each architecture with a tailor-made scheme, designed and tuned by an expert. In this paper, we present a unified scheme for training any backbone on ImageNet. The scheme, named USI (Unified Scheme for ImageNet), is based on knowledge distillation and modern tricks. It requires no adjustments or hyper-parameters tuning between different models, and is efficient in terms of training times. We test USI on a wide variety of architectures, including CNNs, Transformers, Mobile-oriented and MLP-only. On all models tested, USI outperforms previous state-of-the-art results. Hence, we are able to transform training on ImageNet from an expert-oriented task to an automatic seamless routine. Since USI accepts any backbone and trains it to top results, it also enables to perform methodical comparisons, and identify the most efficient backbones along the speed-accuracy Pareto curve. Implementation is available at:https://github.com/Alibaba-MIIL/Solving_ImageNet