arXiv reaDer
IDEA-Net:ディープ埋め込みアライメントによる動的3D点群補間
IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment
この論文は、大きな非剛体変形を伴う動的3D点群を時間的に補間する問題を調査します。この問題を点ごとの軌道(つまり、滑らかな曲線)の推定として定式化し、時間的な不規則性とアンダーサンプリングが2つの主要な課題であるというさらなる理由を説明します。課題に取り組むために、明示的に学習された時間的一貫性の支援の下で問題を解きほぐす、エンドツーエンドの深層学習フレームワークであるIDEA-Netを提案します。具体的には、2つの連続する点群フレームをポイントごとに整列させる時間整合性学習モジュールを提案します。これに基づいて、線形補間を使用して粗い軌道/フレーム間を取得できます。軌道の高次の非線形成分を補正するために、ローカルジオメトリプロパティを回帰するポイントごとの増分にエンコードする整列された特徴の埋め込みを適用します。これは、粗い推定と組み合わされます。さまざまな点群シーケンスに対するこの方法の有効性を示し、最先端の方法よりも定量的および視覚的に大幅な改善が見られます。私たちのフレームワークは、3Dモーションデータ取得にメリットをもたらすことができます。ソースコードはhttps://github.com/ZENGYIMING-EAMON/IDEA-Net.gitで公開されています。
This paper investigates the problem of temporally interpolating dynamic 3D point clouds with large non-rigid deformation. We formulate the problem as estimation of point-wise trajectories (i.e., smooth curves) and further reason that temporal irregularity and under-sampling are two major challenges. To tackle the challenges, we propose IDEA-Net, an end-to-end deep learning framework, which disentangles the problem under the assistance of the explicitly learned temporal consistency. Specifically, we propose a temporal consistency learning module to align two consecutive point cloud frames point-wisely, based on which we can employ linear interpolation to obtain coarse trajectories/in-between frames. To compensate the high-order nonlinear components of trajectories, we apply aligned feature embeddings that encode local geometry properties to regress point-wise increments, which are combined with the coarse estimations. We demonstrate the effectiveness of our method on various point cloud sequences and observe large improvement over state-of-the-art methods both quantitatively and visually. Our framework can bring benefits to 3D motion data acquisition. The source code is publicly available at https://github.com/ZENGYIMING-EAMON/IDEA-Net.git.
updated: Tue Mar 22 2022 10:14:08 GMT+0000 (UTC)
published: Tue Mar 22 2022 10:14:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト