人間の生活には、関節のある物体が住んでいます。現在のカテゴリレベルのアーティキュレーションポーズ推定(CAPE)メソッドは、各カテゴリの固定された運動学的構造を使用した単一インスタンス設定で調査されます。これらの制限を考慮して、実際の環境向けにこの問題設定を改革し、CAPE-Real(CAPER)タスク設定を提案します。この設定により、セマンティックカテゴリ内のさまざまな運動学的構造、および複数のインスタンスを実世界の観察で共存させることができます。このタスクをサポートするために、アーティキュレートモデルリポジトリReArt-48を構築し、高速アーティキュレートオブジェクトモデリング(FAOM)とセミオーセンティックMixEdリアリティテクニック(SAMERT)を含む効率的なデータセット生成パイプラインを提示します。パイプラインに伴い、大規模な複合現実データセットReArtMixと実世界データセットReArtValを構築します。また、RGB-D入力を活用して、1回のフォワードパスで複数のインスタンスのパーツレベルのポーズを推定する効果的なフレームワークReArtNOCSを提案します。広範な実験は、提案されたReArtNOCSがCAPERとCAPEの両方の設定で良好なパフォーマンスを達成できることを示しています。 CAPERタスクに関する将来の研究の強力なベースラインとして役立つ可能性があると考えています。
Human life is populated with articulated objects. Current Category-level Articulation Pose Estimation (CAPE) methods are studied under the single-instance setting with a fixed kinematic structure for each category. Considering these limitations, we reform this problem setting for real-world environments and suggest a CAPE-Real (CAPER) task setting. This setting allows varied kinematic structures within a semantic category, and multiple instances to co-exist in an observation of real world. To support this task, we build an articulated model repository ReArt-48 and present an efficient dataset generation pipeline, which contains Fast Articulated Object Modeling (FAOM) and Semi-Authentic MixEd Reality Technique (SAMERT). Accompanying the pipeline, we build a large-scale mixed reality dataset ReArtMix and a real world dataset ReArtVal. We also propose an effective framework ReArtNOCS that exploits RGB-D input to estimate part-level pose for multiple instances in a single forward pass. Extensive experiments demonstrate that the proposed ReArtNOCS can achieve good performance on both CAPER and CAPE settings. We believe it could serve as a strong baseline for future research on the CAPER task.