RGBDまたはキャリブレーションされたビデオから動的オブジェクトを再構築するためのクラスに依存しないフレームワークであるREDOを紹介します。以前の作業と比較して、問題の設定はより現実的ですが、次の3つの理由でより困難です。1)オクルージョンまたはカメラの設定により、対象のオブジェクトが完全に表示されることはありませんが、完全な形状を再構築することを目指しています。 2)剛体運動、非剛体運動、アーティキュレーションなど、さまざまなオブジェクトダイナミクスを処理することを目指しています。 3)1つの統合されたフレームワークで、さまざまなカテゴリのオブジェクトを再構築することを目指しています。これらの課題に対処するために、2つの新しいモジュールを開発します。最初に、集約された時間的視覚的手がかりとピクセル整列された標準的な4D陰関数を紹介します。次に、オブジェクトのダイナミクスをキャプチャして時間的な伝播と集約をサポートする4D変換モジュールを開発します。合成RGBDビデオデータセットSAIL-VOS3DとDeformingThings4D ++、および実際のビデオデータ3DPWでの広範な実験で、REDOの有効性を研究します。 REDOは、最先端の動的再構成方法よりもわずかに優れていることがわかります。アブレーション研究では、開発された各コンポーネントを検証します。
We introduce REDO, a class-agnostic framework to REconstruct the Dynamic Objects from RGBD or calibrated videos. Compared to prior work, our problem setting is more realistic yet more challenging for three reasons: 1) due to occlusion or camera settings an object of interest may never be entirely visible, but we aim to reconstruct the complete shape; 2) we aim to handle different object dynamics including rigid motion, non-rigid motion, and articulation; 3) we aim to reconstruct different categories of objects with one unified framework. To address these challenges, we develop two novel modules. First, we introduce a canonical 4D implicit function which is pixel-aligned with aggregated temporal visual cues. Second, we develop a 4D transformation module which captures object dynamics to support temporal propagation and aggregation. We study the efficacy of REDO in extensive experiments on synthetic RGBD video datasets SAIL-VOS 3D and DeformingThings4D++, and on real-world video data 3DPW. We find REDO outperforms state-of-the-art dynamic reconstruction methods by a margin. In ablation studies we validate each developed component.