このホワイトペーパーでは、階層的な再配置によるシンプルでありながら競争力のあるビジョンMLPアーキテクチャであるHire-MLPについて説明します。 MLP-Mixerのような以前のビジョンMLPは、さまざまな画像サイズに柔軟に対応できず、トークンをフラット化して空間情報をキャプチャするには非効率的です。 Hire-MLPは、階層的な再配置のアイデアを提案することにより、既存のMLPベースのモデルを革新し、ローカルおよびグローバルな空間情報を集約すると同時に、ダウンストリームタスクに汎用性を持たせます。具体的には、内部領域の再配置は、空間領域内のローカル情報をキャプチャするように設計されています。さらに、異なる領域間の情報通信を可能にし、グローバルコンテキストをキャプチャするために、空間方向に沿ってすべてのトークンを循環的にシフトするクロス領域再配置が提案されています。提案されたHire-MLPアーキテクチャは、単純なチャネル混合MLPと再配置操作で構築されているため、高い柔軟性と推論速度を享受できます。実験によると、Hire-MLPはImageNet-1Kベンチマークで最先端のパフォーマンスを実現しています。特に、Hire-MLPはImageNetで83.4%のトップ1精度を達成します。これは、以前のTransformerベースおよびMLPベースのモデルを上回り、精度とスループットのトレードオフが向上しています。
This paper presents Hire-MLP, a simple yet competitive vision MLP architecture via hierarchical rearrangement. Previous vision MLPs like MLP-Mixer are not flexible for various image sizes and are inefficient to capture spatial information by flattening the tokens. Hire-MLP innovates the existing MLP-based models by proposing the idea of hierarchical rearrangement to aggregate the local and global spatial information while being versatile for downstream tasks. Specifically, the inner-region rearrangement is designed to capture local information inside a spatial region. Moreover, to enable information communication between different regions and capture global context, the cross-region rearrangement is proposed to circularly shift all tokens along spatial directions. The proposed Hire-MLP architecture is built with simple channel-mixing MLPs and rearrangement operations, thus enjoys high flexibility and inference speed. Experiments show that our Hire-MLP achieves state-of-the-art performance on the ImageNet-1K benchmark. In particular, Hire-MLP achieves an 83.4% top-1 accuracy on ImageNet, which surpasses previous Transformer-based and MLP-based models with better trade-off for accuracy and throughput.