現代の畳み込みニューラルネットワーク(CNN)の大規模カーネル設計を再検討します。ビジョントランスフォーマー(ViT)の最近の進歩に触発されて、このペーパーでは、小さなカーネルのスタックの代わりにいくつかの大きな畳み込みカーネルを使用することが、より強力なパラダイムになる可能性があることを示します。効率的な高性能の大規模カーネルCNNを設計するために、たとえば、再パラメーター化された大規模な深さ方向の畳み込みを適用する5つのガイドラインを提案しました。ガイドラインに従って、一般的に使用される3x3とは対照的に、カーネルサイズが31x31と大きい純粋なCNNアーキテクチャであるRepLKNetを提案します。 RepLKNetは、CNNとViTの間のパフォーマンスのギャップを大幅に埋めます。たとえば、ImageNetのSwin Transformerやいくつかの一般的なダウンストリームタスクと同等またはそれ以上の結果を、より低いレイテンシで実現します。 RepLKNetは、ビッグデータや大規模モデルに対しても優れたスケーラビリティを示し、ImageNetで87.8%のトップ1精度、ADE20Kで56.0%のmIoUを取得します。これは、同様のモデルサイズの最先端製品間で非常に競争力があります。私たちの研究はさらに、小さなカーネルのCNNとは対照的に、大きなカーネルのCNNははるかに大きな有効受容野を持ち、テクスチャバイアスよりも形状バイアスが高いことを明らかにしています。 https://github.com/megvii-research/RepLKNetのコードとモデル。
We revisit large kernel design in modern convolutional neural networks (CNNs). Inspired by recent advances of vision transformers (ViTs), in this paper, we demonstrate that using a few large convolutional kernels instead of a stack of small kernels could be a more powerful paradigm. We suggested five guidelines, e.g., applying re-parameterized large depth-wise convolutions, to design efficient high-performance large-kernel CNNs. Following the guidelines, we propose RepLKNet, a pure CNN architecture whose kernel size is as large as 31x31, in contrast to commonly used 3x3. RepLKNet greatly closes the performance gap between CNNs and ViTs, e.g., achieving comparable or superior results than Swin Transformer on ImageNet and a few typical downstream tasks, with lower latency. RepLKNet also shows nice scalability to big data and large models, obtaining 87.8% top-1 accuracy on ImageNet and 56.0% mIoU on ADE20K, which is very competitive among the state-of-the-arts with similar model sizes. Our study further reveals that, in contrast to small-kernel CNNs, large-kernel CNNs have much larger effective receptive fields, and higher shape bias rather than texture bias. Code & models at https://github.com/megvii-research/RepLKNet.