一般的な物体の把握は、ロボット工学の分野では重要であるが未解決の問題です。現在の方法のほとんどは、成功した把握のほとんどをカバーできないDoFがほとんどない把握ポーズを生成するか、不安定な深度画像または点群のみを入力として取得するため、場合によっては結果が悪くなる可能性があります。この論文では、RGBD-Graspを提案します。これは、7-DoF把握検出を、RGBと深度情報が別々に処理される2つのサブタスクに分離することによってこの問題を解決するパイプラインです。最初の段階では、畳み込みニューラルネットワークAngle-View Net(AVN)のようなエンコーダーデコーダーを提案して、画像のすべての場所でのグリッパーのSO(3)方向を予測します。その結果、Fast Analytic Searching(FAS)モジュールは、開口部の幅と、グリッパーから把持点までの距離を計算します。把持検出の問題を切り離し、安定したRGBモダリティを導入することで、パイプラインは高品質の深度画像の要件を緩和し、深度センサーのノイズに対して堅牢です。いくつかのベースラインと比較して、GraspNet-10億データセットで最先端の結果を達成しています。 IntelRealsenseカメラとRobotiq2本指グリッパーを備えたUR5ロボットでの実際のロボット実験は、単一オブジェクトシーンと雑然としたシーンの両方で高い成功率を示しています。私たちのコードとトレーニング済みモデルは公開されます。
General object grasping is an important yet unsolved problem in the field of robotics. Most of the current methods either generate grasp poses with few DoF that fail to cover most of the success grasps, or only take the unstable depth image or point cloud as input which may lead to poor results in some cases. In this paper, we propose RGBD-Grasp, a pipeline that solves this problem by decoupling 7-DoF grasp detection into two sub-tasks where RGB and depth information are processed separately. In the first stage, an encoder-decoder like convolutional neural network Angle-View Net(AVN) is proposed to predict the SO(3) orientation of the gripper at every location of the image. Consequently, a Fast Analytic Searching(FAS) module calculates the opening width and the distance of the gripper to the grasp point. By decoupling the grasp detection problem and introducing the stable RGB modality, our pipeline alleviates the requirement for the high-quality depth image and is robust to depth sensor noise. We achieve state-of-the-art results on GraspNet-1Billion dataset compared with several baselines. Real robot experiments on a UR5 robot with an Intel Realsense camera and a Robotiq two-finger gripper show high success rates for both single object scenes and cluttered scenes. Our code and trained model will be made publicly available.