深さは、深いニューラルネットワークの特徴です。ただし、深度が大きいほど、順次計算が多くなり、レイテンシが長くなります。これは疑問を投げかけます-高性能の「非ディープ」ニューラルネットワークを構築することは可能ですか?そうであることを示します。そのために、レイヤーを次々にスタックする代わりに、並列サブネットワークを使用します。これにより、高性能を維持しながら、深度を効果的に減らすことができます。並列下部構造を利用することにより、深さがわずか12のネットワークで、ImageNetで80%、CIFAR10で96%、CIFAR100で81%を超えるトップ1の精度を達成できることを初めて示しました。また、低深度(12)バックボーンを備えたネットワークがMS-COCOで48%のAPを達成できることも示しています。設計のスケーリングルールを分析し、ネットワークの深さを変更せずにパフォーマンスを向上させる方法を示します。最後に、非ディープネットワークを使用して低遅延の認識システムを構築する方法の概念実証を提供します。コードはhttps://github.com/imankgoyal/NonDeepNetworksで入手できます。
Depth is the hallmark of deep neural networks. But more depth means more sequential computation and higher latency. This begs the question -- is it possible to build high-performing "non-deep" neural networks? We show that it is. To do so, we use parallel subnetworks instead of stacking one layer after another. This helps effectively reduce depth while maintaining high performance. By utilizing parallel substructures, we show, for the first time, that a network with a depth of just 12 can achieve top-1 accuracy over 80% on ImageNet, 96% on CIFAR10, and 81% on CIFAR100. We also show that a network with a low-depth (12) backbone can achieve an AP of 48% on MS-COCO. We analyze the scaling rules for our design and show how to increase performance without changing the network's depth. Finally, we provide a proof of concept for how non-deep networks could be used to build low-latency recognition systems. Code is available at https://github.com/imankgoyal/NonDeepNetworks.