arXiv reaDer
GraspNeRF: 一般化可能な NeRF を使用した透明オブジェクトと鏡面オブジェクトのマルチビューベースの 6-DoF 把持検出
GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF
この作業では、透過オブジェクトと鏡面オブジェクトの 6-DoF 把握検出に取り組みます。これは、深度カメラがジオメトリの検出に失敗するため、視覚ベースのロボット システムでは重要かつ困難な問題です。我々は、初めて、一般化可能な神経放射場(NeRF)を活用して、物質にとらわれないオブジェクトのクラッタでの把握を実現する、マルチビュー RGB ベースの 6-DoF 把握検出ネットワーク、GraspNeRF を提案します。高密度にキャプチャされた入力画像と時間のかかるシーンごとの最適化に依存する既存の NeRF ベースの 3-DoF 把握検出方法と比較して、当社のシステムはまばらな RGB 入力でゼロショット NeRF 構築を実行し、6-DoF 把握を確実に検出できます。どちらもリアルタイム。提案されたフレームワークは、一般化可能な NeRF と把握検出をエンドツーエンドの方法で共同で学習し、把握のためのシーン表現の構築を最適化します。トレーニング データについては、現実世界への直接転送を可能にする雑然としたテーブルトップ シーンでつかむ大規模でフォトリアリスティックなドメイン ランダム化された合成データセットを生成します。合成環境と現実世界の環境での広範な実験は、リアルタイムを維持しながら、すべての実験ですべてのベースラインよりも大幅に優れていることを示しています。プロジェクト ページは https://pku-epic.github.io/GraspNeRF にあります。
In this work, we tackle 6-DoF grasp detection for transparent and specular objects, which is an important yet challenging problem in vision-based robotic systems, due to the failure of depth cameras in sensing their geometry. We, for the first time, propose a multiview RGB-based 6-DoF grasp detection network, GraspNeRF, that leverages the generalizable neural radiance field (NeRF) to achieve material-agnostic object grasping in clutter. Compared to the existing NeRF-based 3-DoF grasp detection methods that rely on densely captured input images and time-consuming per-scene optimization, our system can perform zero-shot NeRF construction with sparse RGB inputs and reliably detect 6-DoF grasps, both in real-time. The proposed framework jointly learns generalizable NeRF and grasp detection in an end-to-end manner, optimizing the scene representation construction for the grasping. For training data, we generate a large-scale photorealistic domain-randomized synthetic dataset of grasping in cluttered tabletop scenes that enables direct transfer to the real world. Our extensive experiments in synthetic and real-world environments demonstrate that our method significantly outperforms all the baselines in all the experiments while remaining in real-time. Project page can be found at https://pku-epic.github.io/GraspNeRF
updated: Wed Mar 15 2023 17:35:57 GMT+0000 (UTC)
published: Wed Oct 12 2022 20:31:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト