arXiv reaDer
MultiBodySync:3Dスキャン同期によるマルチボディセグメンテーションとモーション推定
MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization
MultiBodySyncは、複数の入力3Dポイントクラウド用の新しいエンドツーエンドのトレーニング可能なマルチボディモーションセグメンテーションおよび厳密な登録フレームワークです。私たちが調査するこのマルチスキャンマルチボディ設定によってもたらされる2つの重要な課題は、次のとおりです。(i)ボディまたはボディパーツの異なる空間配置をキャプチャする複数の入力ポイントクラウド間での対応とセグメンテーションの一貫性を保証します。 (ii)新しいオブジェクトカテゴリに適用可能なロバストなモーションベースの剛体セグメンテーションを取得します。一貫した対応とモーションセグメンテーションを同時に回復するために、スペクトル同期を反復的な深い宣言型ネットワークに組み込むこれらの問題に対処するアプローチを提案します。同時に、対応およびモーションセグメンテーション推定モジュールを明示的に解きほぐすことにより、さまざまなオブジェクトカテゴリにわたって強力な一般化を実現します。私たちの広範な評価は、私たちの方法が、関節のあるオブジェクトの剛体部分から3Dシーンの個別に移動するオブジェクトまで、シングルビューまたはフルポイントクラウドに至るまで、さまざまなデータセットで効果的であることを示しています。
We present MultiBodySync, a novel, end-to-end trainable multi-body motion segmentation and rigid registration framework for multiple input 3D point clouds. The two non-trivial challenges posed by this multi-scan multibody setting that we investigate are: (i) guaranteeing correspondence and segmentation consistency across multiple input point clouds capturing different spatial arrangements of bodies or body parts; and (ii) obtaining robust motion-based rigid body segmentation applicable to novel object categories. We propose an approach to address these issues that incorporates spectral synchronization into an iterative deep declarative network, so as to simultaneously recover consistent correspondences as well as motion segmentation. At the same time, by explicitly disentangling the correspondence and motion segmentation estimation modules, we achieve strong generalizability across different object categories. Our extensive evaluations demonstrate that our method is effective on various datasets ranging from rigid parts in articulated objects to individually moving objects in a 3D scene, be it single-view or full point clouds.
updated: Mon Mar 29 2021 01:41:07 GMT+0000 (UTC)
published: Sun Jan 17 2021 06:36:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト