arXiv reaDer
ロボットピッキングアプリケーション用のRGB-Dセンサーを使用したキノコの検出、位置特定、および3Dポーズ推定
Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications
本論文では、低コストの民生用RGB-Dセンサーから取得したRGB-Dデータを使用して、きのこ検出、位置特定、および3Dポーズ推定アルゴリズムを提案します。 RGBと深度情報をさまざまな目的で使用します。 RGBカラーから、最初にキノコの初期輪郭位置を抽出し、次に初期輪郭位置と元の画像の両方をキノコセグメンテーションのアクティブな輪郭に提供します。これらのセグメント化されたキノコは、中心と半径を含む各キノコ検出の円形ハフ変換への入力として使用されます。 RGB画像内の各キノコの中心位置がわかったら、深度情報を使用して3D空間、つまり世界座標系でキノコを特定します。各キノコの検出された中心で深度情報が欠落している場合は、各キノコの半径内で利用可能な最も近い深度情報から推定します。また、事前に準備された直立キノコモデルを使用して、各キノコの3Dポーズを推定します。この3Dポーズ推定には、グローバル登録とそれに続くローカルリファイン登録アプローチを使用します。推定された3Dポーズから、各キノコの向きとして、クォータニオンで表された回転部分のみを使用します。キノコのこれらの推定(X、Y、Z)位置、直径、および向きは、ロボットによるピッキングアプリケーションに使用されます。私たちは、3D印刷されたキノコと本物のキノコの両方で広範な実験を行い、私たちの方法が興味深いパフォーマンスを発揮することを示しています。
In this paper, we propose mushrooms detection, localization and 3D pose estimation algorithm using RGB-D data acquired from a low-cost consumer RGB-D sensor. We use the RGB and depth information for different purposes. From RGB color, we first extract initial contour locations of the mushrooms and then provide both the initial contour locations and the original image to active contour for mushrooms segmentation. These segmented mushrooms are then used as input to a circular Hough transform for each mushroom detection including its center and radius. Once each mushroom's center position in the RGB image is known, we then use the depth information to locate it in 3D space i.e. in world coordinate system. In case of missing depth information at the detected center of each mushroom, we estimate from the nearest available depth information within the radius of each mushroom. We also estimate the 3D pose of each mushroom using a pre-prepared upright mushroom model. We use a global registration followed by local refine registration approach for this 3D pose estimation. From the estimated 3D pose, we use only the rotation part expressed in quaternion as an orientation of each mushroom. These estimated (X,Y,Z) positions, diameters and orientations of the mushrooms are used for robotic-picking applications. We carry out extensive experiments on both 3D printed and real mushrooms which show that our method has an interesting performance.
updated: Sat Jan 08 2022 14:32:25 GMT+0000 (UTC)
published: Sat Jan 08 2022 14:32:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト