この研究は、単眼の RGB ビデオ シーケンスに基づいた非剛体オブジェクトの 3D 再構成に焦点を当てています。具体的には、一般的なオブジェクト カテゴリや何気なく撮影されたシーンに対して忠実度の高いモデルを構築することを目指しています。この目的を達成するために、オブジェクトの既知のルート ポーズを仮定せず、カテゴリ固有のテンプレートや密なポーズ事前分布も利用しません。私たちの手法であるルート ポーズ分解 (RPD) の重要なアイデアは、フレームごとのルート ポーズ変換を維持しながら、ローカル変換を使用して密なフィールドを構築してルート ポーズを修正することです。局所変換の最適化は、正準空間への点登録によって実行されます。また、オブジェクトのオクルージョンや個体差のある複数オブジェクトのシナリオにも RPD を適応させます。その結果、RPD は、大きな変形、複雑な動作パターン、オクルージョン、およびさまざまな個人のスケールの多様性を持つオブジェクトを含む複雑なシナリオのノンリジッド 3D 再構成を可能にします。このようなパイプラインは、実際のさまざまなオブジェクトのセットに合わせて拡張できる可能性があります。私たちは、RPD が、困難な DAVIS、OVIS、および AMA データセットに対して最先端の手法を上回ることを実験的に示しています。
This work focuses on the 3D reconstruction of non-rigid objects based on monocular RGB video sequences. Concretely, we aim at building high-fidelity models for generic object categories and casually captured scenes. To this end, we do not assume known root poses of objects, and do not utilize category-specific templates or dense pose priors. The key idea of our method, Root Pose Decomposition (RPD), is to maintain a per-frame root pose transformation, meanwhile building a dense field with local transformations to rectify the root pose. The optimization of local transformations is performed by point registration to the canonical space. We also adapt RPD to multi-object scenarios with object occlusions and individual differences. As a result, RPD allows non-rigid 3D reconstruction for complicated scenarios containing objects with large deformations, complex motion patterns, occlusions, and scale diversities of different individuals. Such a pipeline potentially scales to diverse sets of objects in the wild. We experimentally show that RPD surpasses state-of-the-art methods on the challenging DAVIS, OVIS, and AMA datasets.