畳み込みニューラルネットワーク(CNN)は、コンピュータービジョンの主要なディープニューラルネットワーク(DNN)アーキテクチャです。最近、TransformerおよびVision TransformerやMLP-Mixerなどの多層パーセプトロン(MLP)ベースのモデルが、ImageNet分類タスクで有望な結果を示したため、新しいトレンドをリードし始めました。この論文では、これらのDNN構造について実証的研究を行い、それぞれの長所と短所を理解しようとします。公正な比較を確実にするために、最初に、空間処理とチャネル処理に別々のモジュールを採用するSPACHと呼ばれる統合フレームワークを開発します。 SPACHフレームワークの下での私たちの実験は、すべての構造が中程度の規模で競争力のあるパフォーマンスを達成できることを明らかにしています。ただし、ネットワークサイズが拡大すると、独特の動作を示します。調査結果に基づいて、畳み込みモジュールとトランスフォーマーモジュールを使用した2つのハイブリッドモデルを提案します。結果として得られるHybrid-MS-S +モデルは、63Mパラメーターと12.3G FLOPSで83.9%のトップ1精度を達成します。すでに洗練されたデザインのSOTAモデルと同等です。コードとモデルはhttps://github.com/microsoft/SPACHで公開されています。
Convolutional neural networks (CNN) are the dominant deep neural network (DNN) architecture for computer vision. Recently, Transformer and multi-layer perceptron (MLP)-based models, such as Vision Transformer and MLP-Mixer, started to lead new trends as they showed promising results in the ImageNet classification task. In this paper, we conduct empirical studies on these DNN structures and try to understand their respective pros and cons. To ensure a fair comparison, we first develop a unified framework called SPACH which adopts separate modules for spatial and channel processing. Our experiments under the SPACH framework reveal that all structures can achieve competitive performance at a moderate scale. However, they demonstrate distinctive behaviors when the network size scales up. Based on our findings, we propose two hybrid models using convolution and Transformer modules. The resulting Hybrid-MS-S+ model achieves 83.9% top-1 accuracy with 63M parameters and 12.3G FLOPS. It is already on par with the SOTA models with sophisticated designs. The code and models are publicly available at https://github.com/microsoft/SPACH.