arXiv reaDer
注意深い特徴の集約による高密度予測
Dense Prediction with Attentive Feature Aggregation
異なるレイヤーにまたがるフィーチャからの情報を集約することは、密な予測モデルにとって不可欠な操作です。表現力が限られているにもかかわらず、機能の連結が集計操作の選択を支配します。このホワイトペーパーでは、さまざまなネットワークレイヤーをより表現力豊かな非線形操作で融合するためのAttentive Feature Aggregation(AFA)を紹介します。 AFAは、空間的注意とチャネル注意の両方を利用して、レイヤーアクティベーションの加重平均を計算します。ニューラルボリュームレンダリングに触発されて、AFAをScale-Space Rendering(SSR)で拡張し、マルチスケール予測のレイトフュージョンを実行します。 AFAは、既存のさまざまなネットワーク設計に適用できます。私たちの実験は、Cityscapes、BDD100K、Mapillary Vistasなどの挑戦的なセマンティックセグメンテーションベンチマークで、計算とパラメーターのオーバーヘッドがごくわずかであるという一貫した重要な改善を示しています。特に、AFAは、都市の景観でDeep Layer Aggregation(DLA)モデルのパフォーマンスを約6%mIoU向上させます。私たちの実験的分析は、AFAがセグメンテーションマップを段階的に改良し、境界の詳細を改善することを学習し、BSDS500およびNYUDv2の境界検出ベンチマークに関する新しい最先端の結果につながることを示しています。コードとビデオのリソースはhttp://vis.xyz/pub/dla-afaで入手できます。
Aggregating information from features across different layers is an essential operation for dense prediction models. Despite its limited expressiveness, feature concatenation dominates the choice of aggregation operations. In this paper, we introduce Attentive Feature Aggregation (AFA) to fuse different network layers with more expressive non-linear operations. AFA exploits both spatial and channel attention to compute weighted average of the layer activations. Inspired by neural volume rendering, we extend AFA with Scale-Space Rendering (SSR) to perform late fusion of multi-scale predictions. AFA is applicable to a wide range of existing network designs. Our experiments show consistent and significant improvements on challenging semantic segmentation benchmarks, including Cityscapes, BDD100K, and Mapillary Vistas, at negligible computational and parameter overhead. In particular, AFA improves the performance of the Deep Layer Aggregation (DLA) model by nearly 6% mIoU on Cityscapes. Our experimental analyses show that AFA learns to progressively refine segmentation maps and to improve boundary details, leading to new state-of-the-art results on boundary detection benchmarks on BSDS500 and NYUDv2. Code and video resources are available at http://vis.xyz/pub/dla-afa.
updated: Thu Jan 19 2023 15:25:52 GMT+0000 (UTC)
published: Mon Nov 01 2021 08:44:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト