空間的次元とチャネル次元でそれぞれ意味的相互依存性をモデル化する自己注意とチャネル注意は、最近、意味的セグメンテーションに広く使用されています。ただし、自己注意とチャネル注意を別々に計算し、それらを直接融合すると、機能表現が競合する可能性があります。この論文では、チャネル注意と軸注意をシームレスに統合し、計算の複雑さを軽減するチャネル化軸注意(CAA)を提案します。軸方向注意マップを計算した後、転置された内積から得られた中間結果をチャネル化して、各軸方向表現のチャネルの重要性が受容野全体で最適化されるようにすることを提案します。さらに、グループ化されたベクトル化を開発します。これにより、モデルを非常に限られたGPUメモリで、完全なベクトル化に匹敵する速度で実行できます。 Cityscapes、PASCAL Context、COCO-Stuffなどの複数のベンチマークデータセットで実施された比較実験は、CAAが必要とする計算リソースがはるかに少ないだけでなく、テストされたすべてのResNet-101に基づく最先端のセグメンテーションモデルよりも優れていることを示していますデータセット。
Self-attention and channel attention, modelling the semantic interdependencies in spatial and channel dimensions respectively, have recently been widely used for semantic segmentation. However, computing self-attention and channel attention separately and then fusing them directly can cause conflicting feature representations. In this paper, we propose the Channelized Axial Attention (CAA) to seamlessly integrate channel attention and axial attention with reduced computational complexity. After computing axial attention maps, we propose to channelize the intermediate results obtained from the transposed dot-product so that the channel importance of each axial representation is optimized across the whole receptive field. We further develop grouped vectorization, which allows our model to be run in the very limited GPU memory with a speed comparable with full vectorization. Comparative experiments conducted on multiple benchmark datasets, including Cityscapes, PASCAL Context and COCO-Stuff, demonstrate that our CAA not only requires much less computation resources but also outperforms the state-of-the-art segmentation models based on ResNet-101 on all tested datasets.