ピラミッド型の特徴表現を学習することは、さまざまなスケールでオブジェクトインスタンスを認識するために重要です。特徴ピラミッドネットワーク(FPN)は、全体に高レベルのセマンティクスを備えた特徴ピラミッドを構築するための古典的なアーキテクチャです。ただし、特徴抽出と融合の固有の欠陥により、FPNはより識別力のある特徴をさらに集約できなくなります。この作業では、注意誘導特徴集約を通じてマルチスケール特徴学習を改善するために、注意集約ベースの特徴ピラミッドネットワーク(A ^ 2-FPN)を提案します。特徴抽出では、マルチレベルのグローバルコンテキスト特徴を収集して配布することで識別可能な特徴を抽出し、チャネルの大幅な削減によるセマンティック情報の損失を軽減します。機能融合では、隣接する機能からの補足情報を集約して、コンテンツ認識サンプリング用の場所ごとの再構成カーネルを生成し、チャネルごとの再重み付けを使用して、要素ごとの追加の前にセマンティックの一貫性を強化します。 A ^ 2-FPNは、さまざまなインスタンスセグメンテーションフレームワークで一貫した向上を示しています。マスクR-CNNでFPNをA ^ 2-FPNに置き換えることにより、ResNet-50とResNet-101をバックボーンとして使用した場合、モデルはパフォーマンスをそれぞれ2.1%と1.6%向上させます。さらに、A ^ 2-FPNは、Cascade MaskR-CNNやHybridTask Cascadeなどの強力なベースラインに統合すると、2.0%および1.4%のマスクAPの改善を実現します。
Learning pyramidal feature representations is crucial for recognizing object instances at different scales. Feature Pyramid Network (FPN) is the classic architecture to build a feature pyramid with high-level semantics throughout. However, intrinsic defects in feature extraction and fusion inhibit FPN from further aggregating more discriminative features. In this work, we propose Attention Aggregation based Feature Pyramid Network (A^2-FPN), to improve multi-scale feature learning through attention-guided feature aggregation. In feature extraction, it extracts discriminative features by collecting-distributing multi-level global context features, and mitigates the semantic information loss due to drastically reduced channels. In feature fusion, it aggregates complementary information from adjacent features to generate location-wise reassembly kernels for content-aware sampling, and employs channel-wise reweighting to enhance the semantic consistency before element-wise addition. A^2-FPN shows consistent gains on different instance segmentation frameworks. By replacing FPN with A^2-FPN in Mask R-CNN, our model boosts the performance by 2.1% and 1.6% mask AP when using ResNet-50 and ResNet-101 as backbone, respectively. Moreover, A^2-FPN achieves an improvement of 2.0% and 1.4% mask AP when integrated into the strong baselines such as Cascade Mask R-CNN and Hybrid Task Cascade.