ポイントクラウドでのディープラーニングはますます発展しています。ポイントを隣接するポイントとグループ化し、それらに対して畳み込みのような操作を実行すると、ポイントクラウドのローカルな特徴を学習できますが、この方法は長距離のグローバルな特徴を抽出するには弱くなります。点群全体でアテンションベースのトランスフォーマーを実行すると、そのグローバルな特徴を効果的に学習できますが、この方法では、ローカルの詳細な特徴を抽出することはほとんどありません。本論文では、CTブロックと呼ばれるローカルとグローバルの特徴を同時に抽出して融合することができる新しいモジュールを提案します。 CTブロックは2つのブランチで構成され、文字Cは畳み込みブランチを表し、文字Tは変圧器ブランチを表します。畳み込みブランチは、グループ化された隣接ポイントで畳み込みを実行して、ローカルフィーチャを抽出します。一方、変圧器ブランチは、点群全体に対してオフセット注意プロセスを実行して、グローバルな特徴を抽出します。 CTブロック内の特徴伝達要素によって構築されたブリッジを介して、ローカル特徴とグローバル特徴は学習中に相互にガイドし、効果的に融合されます。 CTブロックを適用して、点群の分類およびセグメンテーションネットワークを構築し、いくつかの公開データセットによってそれらのパフォーマンスを評価します。実験結果は、CTブロックによって学習された機能が非常に表現力豊かであるため、点群の分類およびセグメンテーションタスクでCTブロックによって構築されたネットワークのパフォーマンスが最先端を達成することを示しています。
Deep learning on the point cloud is increasingly developing. Grouping the point with its neighbors and conducting convolution-like operation on them can learn the local feature of the point cloud, but this method is weak to extract the long-distance global feature. Performing the attention-based transformer on the whole point cloud can effectively learn the global feature of it, but this method is hardly to extract the local detailed feature. In this paper, we propose a novel module that can simultaneously extract and fuse local and global features, which is named as CT-block. The CT-block is composed of two branches, where the letter C represents the convolution-branch and the letter T represents the transformer-branch. The convolution-branch performs convolution on the grouped neighbor points to extract the local feature. Meanwhile, the transformer-branch performs offset-attention process on the whole point cloud to extract the global feature. Through the bridge constructed by the feature transmission element in the CT-block, the local and global features guide each other during learning and are fused effectively. We apply the CT-block to construct point cloud classification and segmentation networks, and evaluate the performance of them by several public datasets. The experimental results show that, because the features learned by CT-block are much expressive, the performance of the networks constructed by the CT-block on the point cloud classification and segmentation tasks achieve state of the art.