arXiv reaDer
CaSPR:正規の時空間点群表現の学習
CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations
動的に移動または進化するオブジェクトのオブジェクト中心の正準時空間点群表現を学習する方法であるCaSPRを提案します。私たちの目標は、時間の経過に伴う情報の集約と、観測されているかどうかに関係なく、過去の任意の時空間近傍でのオブジェクトの状態の調査を可能にすることです。以前の作業とは異なり、CaSPRは、時空の連続性をサポートし、可変で不規則な時空でサンプリングされた点群に対してロバストであり、見えないオブジェクトインスタンスに一般化する表現を学習します。私たちのアプローチは、問題を2つのサブタスクに分割します。まず、入力点群シーケンスを時空間的に正規化されたオブジェクト空間にマッピングすることにより、時間を明示的にエンコードします。次に、この正規化を活用して、ニューラル常微分方程式を使用した時空間潜在表現と、連続正規化フローを使用して動的に進化する形状の生成モデルを学習します。形状の再構築、カメラのポーズの推定、連続的な時空間シーケンスの再構築、不規則または断続的にサンプリングされた観測からの対応の推定など、いくつかのアプリケーションでこの方法の有効性を示します。
We propose CaSPR, a method to learn object-centric Canonical Spatiotemporal Point Cloud Representations of dynamically moving or evolving objects. Our goal is to enable information aggregation over time and the interrogation of object state at any spatiotemporal neighborhood in the past, observed or not. Different from previous work, CaSPR learns representations that support spacetime continuity, are robust to variable and irregularly spacetime-sampled point clouds, and generalize to unseen object instances. Our approach divides the problem into two subtasks. First, we explicitly encode time by mapping an input point cloud sequence to a spatiotemporally-canonicalized object space. We then leverage this canonicalization to learn a spatiotemporal latent representation using neural ordinary differential equations and a generative model of dynamically evolving shapes using continuous normalizing flows. We demonstrate the effectiveness of our method on several applications including shape reconstruction, camera pose estimation, continuous spatiotemporal sequence reconstruction, and correspondence estimation from irregularly or intermittently sampled observations.
updated: Wed Nov 11 2020 19:00:31 GMT+0000 (UTC)
published: Thu Aug 06 2020 17:58:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト