arXiv reaDer
CaseNet: Content-Adaptive Scale Interaction Networks for Scene Parsing
画像内の異なる空間位置にあるオブジェクトは、異なるスケールを示します。適応受容野は、正確なピクセルレベルのセマンティック予測のために適切な範囲のコンテキストをキャプチャすることが期待されます。最近、さまざまな拡張率での激しい畳み込みが、いくつかのブランチを介してマルチスケールの特徴を生成するために使用され、予測のために融合されています。ただし、コンテキストを適応的に最大限に活用するための、異なるスケールのブランチ間の明示的な相互作用が不足しています。この論文では、シーン解析のためのマルチスケール機能を活用するために、コンテンツ適応スケール相互作用ネットワーク(CASINet)を提案します。 CASINetは、古典的なAtrous Spatial Pyramid Pooling(ASPP)モジュールに基づいて構築され、その後に提案されたコンテキストスケールインタラクション(CSI)モジュール、およびスケール適応(SA)モジュールが続きます。具体的には、CSIモジュールでは、あるスケールの空間位置ごとに、特徴学習のために異なる空間位置間で共有される畳み込みフィルターの固定セットによって制限されるのではなく、畳み込みフィルターの空間位置への適応性を促進します。これは、さまざまなスケールの機能間のコンテキストの相互作用によって実現されます。 SAモジュールは、各空間位置および各チャネルに適したスケールを明示的かつソフトに選択します。アブレーション研究は、提案されたモジュールの有効性を示しています。 3つのシーン解析ベンチマークCityscapes、ADE20K、LIPで最先端のパフォーマンスを実現します。
Objects at different spatial positions in an image exhibit different scales. Adaptive receptive fields are expected to capture suitable ranges of context for accurate pixel level semantic prediction. Recently, atrous convolution with different dilation rates has been used to generate features of multi-scales through several branches which are then fused for prediction. However, there is a lack of explicit interaction among the branches of different scales to adaptively make full use of the contexts. In this paper, we propose a Content-Adaptive Scale Interaction Network (CASINet) to exploit the multi-scale features for scene parsing. We build CASINet based on the classic Atrous Spatial Pyramid Pooling (ASPP) module, followed by a proposed contextual scale interaction (CSI) module, and a scale adaptation (SA) module. Specifically, in the CSI module, for each spatial position of some scale, instead of being limited by a fixed set of convolutional filters that are shared across different spatial positions for feature learning, we promote the adaptivity of the convolutional filters to spatial positions. We achieve this by the context interaction among the features of different scales. The SA module explicitly and softly selects the suitable scale for each spatial position and each channel. Ablation studies demonstrate the effectiveness of the proposed modules. We achieve state-of-the-art performance on three scene parsing benchmarks Cityscapes, ADE20K and LIP.
updated: Fri Oct 09 2020 08:13:39 GMT+0000 (UTC)
published: Wed Apr 17 2019 10:33:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト