arXiv reaDer
変圧器時の形状登録
Shape registration in the time of transformers
この論文では、非剛体の3D点群を効率的に登録するためのトランスベースの手順を提案します。提案されたアプローチはデータ駆動型であり、登録タスクで初めてトランスフォーマーアーキテクチャを採用します。私たちの方法は一般的であり、さまざまな設定に適用されます。いくつかの望ましいプロパティ(スキニングウェイトやその他のアニメーションキューなど)を持つ固定テンプレートが与えられた場合、取得した生データをそれに登録して、すべてのテンプレートプロパティを入力ジオメトリに転送できます。あるいは、形状のペアが与えられた場合、私たちの方法は、最初の形状を2番目の形状に登録し(またはその逆)、2つの間の高品質の密な対応を取得できます。どちらのコンテキストでも、結果の品質により、テクスチャ転送や形状補間などの実際のアプリケーションをターゲットにすることができます。さらに、表面の基礎となる密度の推定を含めると、学習プロセスが容易になることも示します。このアーキテクチャの可能性を活用することで、スパースなグラウンドトゥルース対応のセット(合計ポイントの10〜20%)のみを必要とするモデルをトレーニングできます。提案されたモデルと私たちが実行する分析は、登録およびマッチングアプリケーションのための変圧器ベースのアーキテクチャの将来の調査への道を開きます。定性的および定量的評価は、パイプラインが、さまざまなデータセットおよびシナリオでの変形可能で順序付けられていない3Dデータ登録の最先端の方法よりも優れていることを示しています。
In this paper, we propose a transformer-based procedure for the efficient registration of non-rigid 3D point clouds. The proposed approach is data-driven and adopts for the first time the transformer architecture in the registration task. Our method is general and applies to different settings. Given a fixed template with some desired properties (e.g. skinning weights or other animation cues), we can register raw acquired data to it, thereby transferring all the template properties to the input geometry. Alternatively, given a pair of shapes, our method can register the first onto the second (or vice-versa), obtaining a high-quality dense correspondence between the two. In both contexts, the quality of our results enables us to target real applications such as texture transfer and shape interpolation. Furthermore, we also show that including an estimation of the underlying density of the surface eases the learning process. By exploiting the potential of this architecture, we can train our model requiring only a sparse set of ground truth correspondences (10∼20% of the total points). The proposed model and the analysis that we perform pave the way for future exploration of transformer-based architectures for registration and matching applications. Qualitative and quantitative evaluations demonstrate that our pipeline outperforms state-of-the-art methods for deformable and unordered 3D data registration on different datasets and scenarios.
updated: Mon Jun 28 2021 07:56:20 GMT+0000 (UTC)
published: Fri Jun 25 2021 15:02:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト