近年、ロボットビジョンアプリケーションのコンテキストで、オブジェクトの検出とポーズの推定が大きな注目を集めています。ロボットが家事から産業操作に至るまでの多数のロボットアプリケーションに効果的な支援を提供するためには、関心のあるオブジェクトの識別とそのポーズの推定の両方が依然として重要な機能です。この問題は、形状が異なり、潜在的に複雑なオブジェクトの不均一性、およびオブジェクト間の背景の乱雑さや部分的なオクルージョンが原因で発生する問題のために、特に困難です。本研究の主な貢献として、動的ロボット把持を目的として、リアルタイムの物体検出と姿勢推定を行うシステムを提案します。ロボットは、各オブジェクトのいくつかの固定ポーズから標準的な把持の小さなセットを実行するように事前にトレーニングされています。任意のポーズで未知のオブジェクトが提示された場合、提案されたアプローチにより、ロボットはオブジェクトのアイデンティティとその実際のポーズを検出し、新しいポーズで使用するために標準的な把握を適応させることができます。トレーニングの場合、システムは、ロボットの手首に取り付けられたグリッパーに対するオブジェクトの相対的なポーズをキャプチャすることにより、標準的な把持を定義します。テスト中に、新しいポーズが検出されると、オブジェクトの正規の把持が識別され、ロボットアームの関節角度を調整することによって動的に適応されるため、グリッパーは新しいポーズでオブジェクトを把持できます。ヒューマノイドPR2ロボットを使用して実験を行い、提案されたフレームワークがテクスチャの整ったオブジェクトを検出し、許容可能な量の面外回転の存在下で正確な姿勢推定を提供できることを示しました。ロボットがさまざまな任意のポーズからオブジェクトをうまくつかむことによっても、パフォーマンスが示されます。
In recent times, object detection and pose estimation have gained significant attention in the context of robotic vision applications. Both the identification of objects of interest as well as the estimation of their pose remain important capabilities in order for robots to provide effective assistance for numerous robotic applications ranging from household tasks to industrial manipulation. This problem is particularly challenging because of the heterogeneity of objects having different and potentially complex shapes, and the difficulties arising due to background clutter and partial occlusions between objects. As the main contribution of this work, we propose a system that performs real-time object detection and pose estimation, for the purpose of dynamic robot grasping. The robot has been pre-trained to perform a small set of canonical grasps from a few fixed poses for each object. When presented with an unknown object in an arbitrary pose, the proposed approach allows the robot to detect the object identity and its actual pose, and then adapt a canonical grasp in order to be used with the new pose. For training, the system defines a canonical grasp by capturing the relative pose of an object with respect to the gripper attached to the robot's wrist. During testing, once a new pose is detected, a canonical grasp for the object is identified and then dynamically adapted by adjusting the robot arm's joint angles, so that the gripper can grasp the object in its new pose. We conducted experiments using a humanoid PR2 robot and showed that the proposed framework can detect well-textured objects, and provide accurate pose estimation in the presence of tolerable amounts of out-of-plane rotation. The performance is also illustrated by the robot successfully grasping objects from a wide range of arbitrary poses.