この作業では、順序付けられていない非構造化ポイントセットを直接操作するディープニューラルネットワークであるPointTransformerを紹介します。ポイントトランスフォーマーは、ローカルおよびグローバルの特徴を抽出し、空間的なポイント関係と形状情報をキャプチャすることを目的としたローカル-グローバルアテンションメカニズムを導入することにより、両方の表現を関連付けるように設計されています。そのために、ポイントトランスフォーマーの一部としてSortNetを提案します。これは、学習したスコアに基づいてポイントを選択することにより、入力順列の不変性を誘発します。 Point Transformerの出力は、一般的なコンピュータービジョンアプリケーションに直接組み込むことができる、並べ替えられた順列不変の機能リストです。標準の分類とパーツセグメンテーションのベンチマークでアプローチを評価し、以前の作業と比較して競争力のある結果を示します。
In this work, we present Point Transformer, a deep neural network that operates directly on unordered and unstructured point sets. We design Point Transformer to extract local and global features and relate both representations by introducing the local-global attention mechanism, which aims to capture spatial point relations and shape information. For that purpose, we propose SortNet, as part of the Point Transformer, which induces input permutation invariance by selecting points based on a learned score. The output of Point Transformer is a sorted and permutation invariant feature list that can directly be incorporated into common computer vision applications. We evaluate our approach on standard classification and part segmentation benchmarks to demonstrate competitive results compared to the prior work.