畳み込みニューラルネットワーク(CNN)内では、畳み込み演算はローカルフィーチャの抽出には優れていますが、グローバル表現をキャプチャするのは困難です。ビジュアルトランスフォーマー内では、カスケードされた自己注意モジュールは長距離の機能の依存関係をキャプチャできますが、残念ながらローカル機能の詳細を劣化させます。この論文では、畳み込み演算と自己注意メカニズムを利用して表現学習を強化するために、Conformerと呼ばれるハイブリッドネットワーク構造を提案します。コンフォーマーは、機能カップリングユニット(FCU)にルーツを持っています。これは、ローカル機能とグローバル表現をさまざまな解像度でインタラクティブに融合します。 Conformerは、ローカル機能とグローバル表現が最大限に保持されるように、同時構造を採用しています。実験によると、Conformerは、同等のパラメーターの複雑さの下で、ImageNet上でビジュアルトランスフォーマー(DeiT-B)を2.3%上回っています。 MSCOCOでは、オブジェクト検出とインスタンスセグメンテーションでResNet-101よりもそれぞれ3.7%と3.6%mAP優れており、一般的なバックボーンネットワークになる可能性が高いことを示しています。コードはhttps://github.com/pengzhiliang/Conformerで入手できます。
Within Convolutional Neural Network (CNN), the convolution operations are good at extracting local features but experience difficulty to capture global representations. Within visual transformer, the cascaded self-attention modules can capture long-distance feature dependencies but unfortunately deteriorate local feature details. In this paper, we propose a hybrid network structure, termed Conformer, to take advantage of convolutional operations and self-attention mechanisms for enhanced representation learning. Conformer roots in the Feature Coupling Unit (FCU), which fuses local features and global representations under different resolutions in an interactive fashion. Conformer adopts a concurrent structure so that local features and global representations are retained to the maximum extent. Experiments show that Conformer, under the comparable parameter complexity, outperforms the visual transformer (DeiT-B) by 2.3% on ImageNet. On MSCOCO, it outperforms ResNet-101 by 3.7% and 3.6% mAPs for object detection and instance segmentation, respectively, demonstrating the great potential to be a general backbone network. Code is available at https://github.com/pengzhiliang/Conformer.