arXiv reaDer
BCNet: Searching for Network Width with Bilaterally Coupled Network
最近、よりコンパクトなネットワーク幅を検索することは、ハードウェアの制約の下で畳み込みニューラルネットワーク(CNN)を展開するためのチャネルプルーニングの効果的な方法として機能します。検索を実行するために、通常、ワンショットスーパーネットを利用して、さまざまなネットワーク幅のパフォーマンスを効率的に評価します。ただし、現在の方法は、主に各幅の評価に一方的な拡張(UA)の原則に従っており、スーパーネットのチャネルのトレーニングの不公平を引き起こします。このホワイトペーパーでは、この問題に対処するために、Bilaterally Coupled Network(BCNet)と呼ばれる新しいスーパーネットを紹介します。 BCNetでは、各チャネルは適切にトレーニングされており、同じ量のネットワーク幅を担当しているため、各ネットワーク幅をより正確に評価できます。さらに、BCNetをトレーニングするための確率的補完戦略を活用し、進化的検索のパフォーマンスを向上させるために、以前の初期母集団サンプリング方法を提案します。ベンチマークCIFAR-10およびImageNetデータセットでの広範な実験は、私たちの方法が他のベースライン方法よりも最先端のまたは競合するパフォーマンスを達成できることを示しています。さらに、私たちの方法は、ネットワーク幅を調整することにより、NASモデルのパフォーマンスをさらに向上させることがわかりました。たとえば、同じFLOP予算で、取得したEfficientNet-B0は、ImageNetデータセットで77.36%のトップ1精度を達成し、元の設定のパフォーマンスを0.48%上回っています。
Searching for a more compact network width recently serves as an effective way of channel pruning for the deployment of convolutional neural networks (CNNs) under hardware constraints. To fulfill the searching, a one-shot supernet is usually leveraged to efficiently evaluate the performance \wrt~different network widths. However, current methods mainly follow a unilaterally augmented (UA) principle for the evaluation of each width, which induces the training unfairness of channels in supernet. In this paper, we introduce a new supernet called Bilaterally Coupled Network (BCNet) to address this issue. In BCNet, each channel is fairly trained and responsible for the same amount of network widths, thus each network width can be evaluated more accurately. Besides, we leverage a stochastic complementary strategy for training the BCNet, and propose a prior initial population sampling method to boost the performance of the evolutionary search. Extensive experiments on benchmark CIFAR-10 and ImageNet datasets indicate that our method can achieve state-of-the-art or competing performance over other baseline methods. Moreover, our method turns out to further boost the performance of NAS models by refining their network widths. For example, with the same FLOPs budget, our obtained EfficientNet-B0 achieves 77.36% Top-1 accuracy on ImageNet dataset, surpassing the performance of original setting by 0.48%.
updated: Fri May 21 2021 18:54:03 GMT+0000 (UTC)
published: Fri May 21 2021 18:54:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト