3D点群間の関係をモデル化するためのunary-pairwiseattention(UPA)という名前のシンプルで効果的な注意を示します。私たちのアイデアは、グローバルに動作する標準の自己注意(SA)が、異なるクエリ位置に対してほぼ同じ注意マップを生成する傾向があり、クエリに依存しない情報とクエリに依存する情報を一緒に学習することの難しさを明らかにするという分析に動機付けられています。したがって、SAを再定式化し、クエリに依存しない(単項)コンポーネントとクエリに依存する(ペアワイズ)コンポーネントを提案して、両方の用語の学習を容易にします。 SAとは対照的に、UPAは、ローカルでの操作を介してクエリの依存関係を保証します。広範な実験により、UPAは、形状分類、パーツセグメンテーション、シーンセグメンテーションなどのさまざまな点群理解タスクで一貫してSAよりも優れていることが示されています。さらに、人気のあるPointNet ++メソッドにUPAを装備するだけでも、最先端の注意ベースのアプローチよりも優れているか、同等です。さらに、UPAは、構成モジュールとして統合されると、標準ネットワークと最新ネットワークの両方のパフォーマンスを体系的に向上させます。
We present a simple but effective attention named the unary-pairwise attention (UPA) for modeling the relationship between 3D point clouds. Our idea is motivated by the analysis that the standard self-attention (SA) that operates globally tends to produce almost the same attention maps for different query positions, revealing difficulties for learning query-independent and query-dependent information jointly. Therefore, we reformulate the SA and propose query-independent (Unary) and query-dependent (Pairwise) components to facilitate the learning of both terms. In contrast to the SA, the UPA ensures query dependence via operating locally. Extensive experiments show that the UPA outperforms the SA consistently on various point cloud understanding tasks including shape classification, part segmentation, and scene segmentation. Moreover, simply equipping the popular PointNet++ method with the UPA even outperforms or is on par with the state-of-the-art attention-based approaches. In addition, the UPA systematically boosts the performance of both standard and modern networks when it is integrated into them as a compositional module.