過去10年間で、マシンビジョンバックボーンの急速な進歩を目の当たりにしてきました。画像処理からの誘導バイアスを導入することにより、畳み込みニューラルネットワーク(CNN)は、多数のコンピュータービジョンタスクで優れたパフォーマンスを実現し、事実上のバックボーンとして確立されました。近年、NLPタスクでTransformerによって達成された大きな成功に触発されて、ビジョンTransformerモデルが登場します。はるかに少ない誘導バイアスを使用して、CNNの対応物と比較して、コンピュータービジョンタスクで有望なパフォーマンスを達成しました。最近では、研究者は純粋なMLPアーキテクチャを使用してビジョンバックボーンを構築し、誘導バイアスをさらに低減して、優れたパフォーマンスを実現することを調査しています。純粋なMLPバックボーンは、チャネルを融合するためのチャネルミキシングMLPと、パッチ間の通信のためのトークンミキシングMLPに基づいて構築されています。この論文では、トークンミキシングMLPの設計を再考します。既存のMLPベースのバックボーンのトークンミキシングMLPは空間固有であるため、空間変換に敏感であることがわかりました。一方、既存のトークンミキシングMLPのチャネルに依存しないプロパティは、トークンをミキシングする機能を制限します。これらの制限を克服するために、空間不変でチャネル固有のCirculant Channel-Specific(CCS)トークンミキシングMLPと呼ばれる改善された構造を提案します。必要なパラメーターは少なくなりますが、ImageNet1Kベンチマークでより高い分類精度を実現します。
In the past decade, we have witnessed rapid progress in the machine vision backbone. By introducing the inductive bias from the image processing, convolution neural network (CNN) has achieved excellent performance in numerous computer vision tasks and has been established as de facto backbone. In recent years, inspired by the great success achieved by Transformer in NLP tasks, vision Transformer models emerge. Using much less inductive bias, they have achieved promising performance in computer vision tasks compared with their CNN counterparts. More recently, researchers investigate using the pure-MLP architecture to build the vision backbone to further reduce the inductive bias, achieving good performance. The pure-MLP backbone is built upon channel-mixing MLPs to fuse the channels and token-mixing MLPs for communications between patches. In this paper, we re-think the design of the token-mixing MLP. We discover that token-mixing MLPs in existing MLP-based backbones are spatial-specific, and thus it is sensitive to spatial translation. Meanwhile, the channel-agnostic property of the existing token-mixing MLPs limits their capability in mixing tokens. To overcome those limitations, we propose an improved structure termed as Circulant Channel-Specific (CCS) token-mixing MLP, which is spatial-invariant and channel-specific. It takes fewer parameters but achieves higher classification accuracy on ImageNet1K benchmark.