arXiv reaDer
ActiveMLP:アクティブトークンミキサーを備えたMLPのようなアーキテクチャ
ActiveMLP: An MLP-like Architecture with Active Token Mixer
このホワイトペーパーでは、コンピュータビジョン用の一般的なMLPのようなバックボーンであるActiveMLPについて説明します。 CNN、Transformers、MLPの3つの既存の主要なネットワークファミリは、主にコンテキスト情報を特定のトークンに融合する方法が異なり、バックボーンアーキテクチャ開発の中核にあるより効果的なトークンミキシングメカニズムの設計を残しています。 ActiveMLPでは、アクティブトークンミキサー(ATM)と呼ばれる革新的なトークンミキサーを提案し、グローバルスコープ内の他のトークンからのコンテキスト情報を特定のトークンに積極的に組み込みます。この基本的なオペレーターは、有用なコンテキストをキャプチャする場所を積極的に予測し、キャプチャされたコンテキストをチャネルレベルで指定されたトークンの元の情報と融合する方法を学習します。このようにして、トークンミキシングの空間範囲が拡大され、トークンミキシングの方法が改革されます。この設計により、ActiveMLPは、グローバルな受容野とより柔軟なコンテンツ適応型情報融合のメリットを備えています。広範な実験は、ActiveMLPが一般的に適用可能であり、視覚認識や高密度予測タスクを含む幅広い視覚タスクで明確なマージンによってSOTAビジョンバックボーンのさまざまなファミリを包括的に上回っていることを示しています。コードとモデルはhttps://github.com/microsoft/ActiveMLPで入手できます。
This paper presents ActiveMLP, a general MLP-like backbone for computer vision. The three existing dominant network families, i.e., CNNs, Transformers and MLPs, differ from each other mainly in the ways to fuse contextual information into a given token, leaving the design of more effective token-mixing mechanisms at the core of backbone architecture development. In ActiveMLP, we propose an innovative token-mixer, dubbed Active Token Mixer (ATM), to actively incorporate contextual information from other tokens in the global scope into the given one. This fundamental operator actively predicts where to capture useful contexts and learns how to fuse the captured contexts with the original information of the given token at channel levels. In this way, the spatial range of token-mixing is expanded and the way of token-mixing is reformed. With this design, ActiveMLP is endowed with the merits of global receptive fields and more flexible content-adaptive information fusion. Extensive experiments demonstrate that ActiveMLP is generally applicable and comprehensively surpasses different families of SOTA vision backbones by a clear margin on a broad range of vision tasks, including visual recognition and dense prediction tasks. The code and models will be available at https://github.com/microsoft/ActiveMLP.
updated: Fri Mar 11 2022 17:29:54 GMT+0000 (UTC)
published: Fri Mar 11 2022 17:29:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト