arXiv reaDer
Universally Slimmable Networks and Improved Training Techniques
  スリム化可能なネットワークは、ランタイム幅を即座に調整できるニューラルネットワークのファミリです。幅は、実行時に精度と効率のトレードオフを適応的に最適化するために、事前定義された幅セットから選択できます。この作業では、普遍的にスリム化可能なネットワーク(US-Net)を訓練し、任意の幅で実行するようにスリム化可能なネットワークを拡張し、バッチ正規化レイヤーの有無にかかわらずネットワークに一般化する体系的なアプローチを提案します。さらに、トレーニングプロセスを強化し、テストの精度を高めるために、サンドイッチ規則とインプレース蒸留と呼ばれるUS-Netの2つの改善されたトレーニング手法を提案します。個別にトレーニングされたものと4スイッチのスリム化可能なネットワークベースラインと比較して、ImageNet分類タスクでのユニバーサルにスリム化可能なMobileNet v1およびMobileNet v2のパフォーマンスの向上を示します。また、提案されているUS-Netと、画像の超解像および深層強化学習のタスクに関する改善されたトレーニング手法を評価します。これらの代表的なタスクに関する広範なアブレーション実験は、提案された方法の有効性を示しています。この発見により、ネットワークアーキテクチャのFLOPs-Accuracyスペクトルを直接評価する可能性が開かれます。コードとモデルは、で入手できます。
Slimmable networks are a family of neural networks that can instantly adjust the runtime width. The width can be chosen from a predefined widths set to adaptively optimize accuracy-efficiency trade-offs at runtime. In this work, we propose a systematic approach to train universally slimmable networks (US-Nets), extending slimmable networks to execute at arbitrary width, and generalizing to networks both with and without batch normalization layers. We further propose two improved training techniques for US-Nets, named the sandwich rule and inplace distillation, to enhance training process and boost testing accuracy. We show improved performance of universally slimmable MobileNet v1 and MobileNet v2 on ImageNet classification task, compared with individually trained ones and 4-switch slimmable network baselines. We also evaluate the proposed US-Nets and improved training techniques on tasks of image super-resolution and deep reinforcement learning. Extensive ablation experiments on these representative tasks demonstrate the effectiveness of our proposed methods. Our discovery opens up the possibility to directly evaluate FLOPs-Accuracy spectrum of network architectures. Code and models are available at:
updated: Sun Oct 20 2019 19:52:57 GMT+0000 (UTC)
published: Tue Mar 12 2019 18:36:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト