この論文では、平行板グリッパーを使用したロボットによるピッキングタスクのための、クラスに依存しない共同オブジェクトセグメンテーションと把持検出のための新しいディープニューラルネットワークアーキテクチャを紹介します。ネットワークパラメータや計算の複雑さを追加することなく、複雑なシーンでポイント提案ベースのオブジェクトインスタンスセグメンテーションの精度を高める方法である、深度認識座標畳み込み(CoordConv)を紹介します。深度認識CoordConvは、深度データを使用してオブジェクトの場所に関する事前情報を抽出し、非常に正確なオブジェクトインスタンスのセグメンテーションを実現します。これらの結果のセグメンテーションマスクは、予測された把持候補と組み合わされて、平行板グリッパーを使用して把持するための完全なシーン記述につながります。挑戦的なロボットピッキングデータセット、つまりSiléaneとOCID_graspでの把持検出とインスタンスセグメンテーションの精度を評価し、実際のロボットピッキングタスクでの共同把持検出とセグメンテーションの利点を示します。
In this paper, we present a novel deep neural network architecture for joint class-agnostic object segmentation and grasp detection for robotic picking tasks using a parallel-plate gripper. We introduce depth-aware Coordinate Convolution (CoordConv), a method to increase accuracy for point proposal based object instance segmentation in complex scenes without adding any additional network parameters or computation complexity. Depth-aware CoordConv uses depth data to extract prior information about the location of an object to achieve highly accurate object instance segmentation. These resulting segmentation masks, combined with predicted grasp candidates, lead to a complete scene description for grasping using a parallel-plate gripper. We evaluate the accuracy of grasp detection and instance segmentation on challenging robotic picking datasets, namely Siléane and OCID_grasp, and show the benefit of joint grasp detection and segmentation on a real-world robotic picking task.