実際のアプリケーションでキャプチャされた点群は、センサーの解像度、単一の視点、およびオクルージョンが制限されているため、不完全なことがよくあります。したがって、部分的な点群から完全な点群を回復することは、多くの実際のアプリケーションで不可欠なタスクになります。この論文では、点群の完成を集合から集合への変換問題として再定式化する新しい方法を提示し、点群の完成にトランスエンコーダ-デコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルを設計します。点群を、位置が埋め込まれた順序付けられていない点のグループのセットとして表すことにより、点群を一連の点プロキシに変換し、点群の生成にトランスフォーマーを使用します。トランスフォーマーが点群の3D幾何学的構造に関する誘導バイアスをより有効に活用できるように、ローカルの幾何学的関係を明示的にモデル化する幾何学的認識ブロックをさらに考案します。トランスフォーマーの移行により、モデルは構造知識をよりよく学習し、点群を完成させるための詳細情報を保持できます。さらに、将来の研究を促進するために実際のシナリオをより適切に反映できる、より多様な不完全な点群を使用した、さらに2つの挑戦的なベンチマークを提案します。実験結果は、私たちの方法が、新しいベンチマークと既存のベンチマークの両方で、最先端の方法を大幅に上回っていることを示しています。コードはhttps://github.com/yuxumin/PoinTrで入手できます。
Point clouds captured in real-world applications are often incomplete due to the limited sensor resolution, single viewpoint, and occlusion. Therefore, recovering the complete point clouds from partial ones becomes an indispensable task in many practical applications. In this paper, we present a new method that reformulates point cloud completion as a set-to-set translation problem and design a new model, called PoinTr that adopts a transformer encoder-decoder architecture for point cloud completion. By representing the point cloud as a set of unordered groups of points with position embeddings, we convert the point cloud to a sequence of point proxies and employ the transformers for point cloud generation. To facilitate transformers to better leverage the inductive bias about 3D geometric structures of point clouds, we further devise a geometry-aware block that models the local geometric relationships explicitly. The migration of transformers enables our model to better learn structural knowledge and preserve detailed information for point cloud completion. Furthermore, we propose two more challenging benchmarks with more diverse incomplete point clouds that can better reflect the real-world scenarios to promote future research. Experimental results show that our method outperforms state-of-the-art methods by a large margin on both the new benchmarks and the existing ones. Code is available at https://github.com/yuxumin/PoinTr