トランスフォーマーは、ディープ ラーニングにおける最も重要なアーキテクチャ イノベーションの 1 つであり、過去数年間で多くのブレークスルーを実現してきました。ここでは、ゲーティングを備えた MLP に基づいた単純なネットワーク アーキテクチャである gMLP を提案し、主要な言語およびビジョン アプリケーションでトランスフォーマーと同様に機能することを示します。私たちの比較は、gMLP が同じ精度を達成できるため、ビジョン トランスフォーマーにとって自己注意は重要ではないことを示しています。 BERT の場合、私たちのモデルは事前トレーニングのパープレキシティでトランスフォーマーと同等を達成し、いくつかのダウンストリーム NLP タスクでより優れています。 gMLP のパフォーマンスが悪い微調整タスクでは、gMLP モデルを大幅に大きくすると、トランスフォーマーとのギャップを埋めることができます。一般に、私たちの実験は、gMLP がデータと計算の増加に対してトランスフォーマーと同様にスケーリングできることを示しています。
Transformers have become one of the most important architectural innovations in deep learning and have enabled many breakthroughs over the past few years. Here we propose a simple network architecture, gMLP, based on MLPs with gating, and show that it can perform as well as Transformers in key language and vision applications. Our comparisons show that self-attention is not critical for Vision Transformers, as gMLP can achieve the same accuracy. For BERT, our model achieves parity with Transformers on pretraining perplexity and is better on some downstream NLP tasks. On finetuning tasks where gMLP performs worse, making the gMLP model substantially larger can close the gap with Transformers. In general, our experiments show that gMLP can scale as well as Transformers over increased data and compute.