arXiv reaDer
CheckerPose: グラフ ニューラル ネットワークを使用したオブジェクト姿勢推定のための漸進的高密度キーポイント位置特定
CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network
単一の RGB 画像から剛体オブジェクトの 6-DoF 姿勢を推定することは、重要だが困難な作業です。最近の研究では、高密度通信ベースのソリューションの大きな可能性が示されていますが、実用的な展開に到達するにはまだ改善が必要です。この論文では、3 つの主要な側面を改善する、CheckerPose という名前の新しい姿勢推定アルゴリズムを提案します。まず、CheckerPose は 3D オブジェクトの表面から 3D キーポイントを高密度でサンプリングし、2D 画像内でそれらの 2D 対応関係を段階的に見つけます。画像空間で高密度のサンプリングを実行する以前のソリューションと比較して、私たちの戦略は 2D グリッド (つまり、ピクセル座標) での対応検索を可能にします。次に、3D から 2D への対応のために、2D 画像の位置を表すコンパクトなバイナリ コード表現を設計します。この表現により、漸進的な対応の改良が可能になるだけでなく、対応回帰をより効率的な分類問題に変換することもできます。第三に、グラフ ニューラル ネットワークを採用して、サンプリングされた 3D キーポイント間の相互作用を明示的にモデル化し、対応の信頼性と精度をさらに高めます。これらの新しいコンポーネントを組み合わせることで、CheckerPose は強力な姿勢推定アルゴリズムになります。一般的な Linemod、Linemod-O、および YCB-V オブジェクト姿勢推定ベンチマークで評価すると、CheckerPose は対応ベースの手法の精度を明らかに向上させ、最先端のパフォーマンスを実現します。コードは https://github.com/RuyiLian/CheckerPose で入手できます。
Estimating the 6-DoF pose of a rigid object from a single RGB image is a crucial yet challenging task. Recent studies have shown the great potential of dense correspondence-based solutions, yet improvements are still needed to reach practical deployment. In this paper, we propose a novel pose estimation algorithm named CheckerPose, which improves on three main aspects. Firstly, CheckerPose densely samples 3D keypoints from the surface of the 3D object and finds their 2D correspondences progressively in the 2D image. Compared to previous solutions that conduct dense sampling in the image space, our strategy enables the correspondence searching in a 2D grid (i.e., pixel coordinate). Secondly, for our 3D-to-2D correspondence, we design a compact binary code representation for 2D image locations. This representation not only allows for progressive correspondence refinement but also converts the correspondence regression to a more efficient classification problem. Thirdly, we adopt a graph neural network to explicitly model the interactions among the sampled 3D keypoints, further boosting the reliability and accuracy of the correspondences. Together, these novel components make CheckerPose a strong pose estimation algorithm. When evaluated on the popular Linemod, Linemod-O, and YCB-V object pose estimation benchmarks, CheckerPose clearly boosts the accuracy of correspondence-based methods and achieves state-of-the-art performances. Code is available at https://github.com/RuyiLian/CheckerPose.
updated: Sun Aug 13 2023 20:11:23 GMT+0000 (UTC)
published: Wed Mar 29 2023 17:30:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト