arXiv reaDer
CLA-NeRF:カテゴリレベルの関節式神経放射輝度フィールド
CLA-NeRF: Category-Level Articulated Neural Radiance Field
CLA-NeRFを提案します。これは、ビューの合成、パーツのセグメンテーション、および関節式ポーズ推定を実行できるカテゴリレベルの関節式ニューラル放射輝度フィールドです。 CLA-NeRFは、CADモデルや深度を使用せずに、オブジェクトカテゴリレベルでトレーニングされますが、グラウンドトゥルースカメラのポーズとパーツセグメントを含むRGB画像のセットです。推論中、オブジェクト部分のセグメンテーションと神経放射輝度フィールドを推論するために、既知のカテゴリ内の見えない3DオブジェクトインスタンスのいくつかのRGBビュー(つまり、数ショット)のみが必要です。入力として関節式ポーズを指定すると、CLA-NeRFは関節式対応のボリュームレンダリングを実行して、任意のカメラポーズで対応するRGB画像を生成できます。さらに、オブジェクトの関節式ポーズは、逆レンダリングを介して推定できます。私たちの実験では、合成データと実世界のデータの両方について、5つのカテゴリにわたってフレームワークを評価します。すべての場合において、私たちの方法は現実的な変形結果と正確な関節式ポーズ推定を示しています。数ショットの関節式オブジェクトレンダリングと関節式ポーズ推定の両方が、ロボットが目に見えない関節式オブジェクトを認識して相互作用するための扉を開くと信じています。
We propose CLA-NeRF -- a Category-Level Articulated Neural Radiance Field that can perform view synthesis, part segmentation, and articulated pose estimation. CLA-NeRF is trained at the object category level using no CAD models and no depth, but a set of RGB images with ground truth camera poses and part segments. During inference, it only takes a few RGB views (i.e., few-shot) of an unseen 3D object instance within the known category to infer the object part segmentation and the neural radiance field. Given an articulated pose as input, CLA-NeRF can perform articulation-aware volume rendering to generate the corresponding RGB image at any camera pose. Moreover, the articulated pose of an object can be estimated via inverse rendering. In our experiments, we evaluate the framework across five categories on both synthetic and real-world data. In all cases, our method shows realistic deformation results and accurate articulated pose estimation. We believe that both few-shot articulated object rendering and articulated pose estimation open doors for robots to perceive and interact with unseen articulated objects.
updated: Wed Feb 23 2022 09:44:04 GMT+0000 (UTC)
published: Tue Feb 01 2022 02:04:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト