ビジョン トランスフォーマー (ViT) の最近の成功以来、トランスフォーマー スタイルのアーキテクチャへの探求が、最新の ConvNet の復活を引き起こしました。この作業では、相互作用の複雑さのレンズを通して DNN の表現能力を探ります。インタラクションの複雑さは見過ごされがちですが、視覚認識にとって不可欠な指標であることを経験的に示しています。したがって、MogaNet という名前の効率的な ConvNets の新しいファミリが提示され、複雑さとパフォーマンスのトレードオフが望ましい、純粋な ConvNet ベースのモデルで有益なコンテキスト マイニングを追求します。 MogaNet では、複数の複雑性にまたがる相互作用は、空間およびチャネル相互作用空間の両方で特別に設計された 2 つの集約ブロックを活用することによって、促進され、文脈化されます。 ImageNet 分類、COCO オブジェクト検出、および ADE20K セマンティック セグメンテーション タスクに関する広範な研究が行われています。結果は、私たちの MogaNet が主流のシナリオとすべてのモデル スケールで他の一般的な方法よりも新しい最先端技術を確立することを示しています。通常、軽量の MogaNet-T は、ImageNet-1K の洗練されたトレーニング設定を使用して、わずか 1.44G FLOP で 80.0% のトップ 1 精度を達成し、ParC-Net-S を 1.4% の精度で上回り、59% (2.04G) FLOP を節約します。
Since the recent success of Vision Transformers (ViTs), explorations toward transformer-style architectures have triggered the resurgence of modern ConvNets. In this work, we explore the representation ability of DNNs through the lens of interaction complexities. We empirically show that interaction complexity is an overlooked but essential indicator for visual recognition. Accordingly, a new family of efficient ConvNets, named MogaNet, is presented to pursue informative context mining in pure ConvNet-based models, with preferable complexity-performance trade-offs. In MogaNet, interactions across multiple complexities are facilitated and contextualized by leveraging two specially designed aggregation blocks in both spatial and channel interaction spaces. Extensive studies are conducted on ImageNet classification, COCO object detection, and ADE20K semantic segmentation tasks. The results demonstrate that our MogaNet establishes new state-of-the-art over other popular methods in mainstream scenarios and all model scales. Typically, the lightweight MogaNet-T achieves 80.0% top-1 accuracy with only 1.44G FLOPs using a refined training setup on ImageNet-1K, surpassing ParC-Net-S by 1.4% accuracy but saving 59% (2.04G) FLOPs.