ニューラル記述子フィールド(NDF)は、カテゴリレベルの記述子を介して、オブジェクトとターゲット(ロボットグリッパーや吊り下げに使用されるラックなど)の間のポイントと相対ポーズの両方をエンコードするオブジェクト表現です。この表現をオブジェクトマニピュレーションに使用します。タスクのデモンストレーションが与えられた場合、同じカテゴリの新しいオブジェクトインスタンスで同じタスクを繰り返します。デモンストレーションで観察されたものと記述子が一致するポーズを(最適化を介して)検索することにより、この目的を達成することを提案します。 NDFは、専門家がラベル付けしたキーポイントに依存しない3D自動エンコードタスクを介して、自己監視方式で便利にトレーニングされます。さらに、NDFはSE(3)と同等であり、考えられるすべての3Dオブジェクトの平行移動と回転にわたって一般化するパフォーマンスを保証します。シミュレーションと実際のロボットの両方で、いくつか(5〜10)のデモンストレーションから操作タスクの学習を示します。私たちのパフォーマンスは、オブジェクトインスタンスと6-DoFオブジェクトポーズの両方で一般化されており、2D記述子に依存する最近のベースラインを大幅に上回っています。プロジェクトのウェブサイト:https://yilundu.github.io/ndf/。
We present Neural Descriptor Fields (NDFs), an object representation that encodes both points and relative poses between an object and a target (such as a robot gripper or a rack used for hanging) via category-level descriptors. We employ this representation for object manipulation, where given a task demonstration, we want to repeat the same task on a new object instance from the same category. We propose to achieve this objective by searching (via optimization) for the pose whose descriptor matches that observed in the demonstration. NDFs are conveniently trained in a self-supervised fashion via a 3D auto-encoding task that does not rely on expert-labeled keypoints. Further, NDFs are SE(3)-equivariant, guaranteeing performance that generalizes across all possible 3D object translations and rotations. We demonstrate learning of manipulation tasks from few (5-10) demonstrations both in simulation and on a real robot. Our performance generalizes across both object instances and 6-DoF object poses, and significantly outperforms a recent baseline that relies on 2D descriptors. Project website: https://yilundu.github.io/ndf/.