このペーパーでは、ZeroPose と呼ばれる CAD モデルベースのゼロショット姿勢推定パイプラインを紹介します。既存の姿勢推定手法は、目に見えない物体に適用する場合、依然として高価なトレーニングが必要であり、産業での実際の応用における拡張性を大きく妨げています。対照的に、提案された方法では、トレーニングを必要とせずに、これまでに見たことのないオブジェクトの姿勢パラメータを正確に推定できます。具体的には、CAD モデルベースのゼロショット インスタンス セグメンテーションとゼロショット ポーズ推定器で構成される 2 ステップのパイプラインを設計します。最初のステップでは、CAD モデルとビジュアル基盤モデルの SAM および Imagebind を活用して、関心のある目に見えないオブジェクトをインスタンス レベルでセグメント化する、シンプルですが効果的な方法があります。第 2 ステップでは、剛体オブジェクトの CAD モデル内の集中的な幾何学的情報に基づいて、ゼロショットの姿勢推定を達成する軽量の階層的幾何学的構造マッチング メカニズムを提案します。 BOP チャレンジに関する 7 つのコア データセットに関する広範な実験結果は、提案されたゼロショット インスタンス セグメンテーション手法が教師あり MaskRCNN と同等のパフォーマンスを達成し、ゼロショット姿勢推定結果が SOTA 姿勢推定器よりも優れた効率で優れていることを示しています。
In this paper, we present a CAD model-based zero-shot pose estimation pipeline called ZeroPose. Existing pose estimation methods remain to require expensive training when applied to an unseen object, which greatly hinders their scalability in the practical application of industry. In contrast, the proposed method enables the accurate estimation of pose parameters for previously unseen objects without the need for training. Specifically, we design a two-step pipeline consisting of CAD model-based zero-shot instance segmentation and a zero-shot pose estimator. For the first step, there is a simple but effective way to leverage CAD models and visual foundation models SAM and Imagebind to segment the interest unseen object at the instance level. For the second step, we based on the intensive geometric information in the CAD model of the rigid object to propose a lightweight hierarchical geometric structure matching mechanism achieving zero-shot pose estimation. Extensive experimental results on the seven core datasets on the BOP challenge show that the proposed zero-shot instance segmentation methods achieve comparable performance with supervised MaskRCNN and the zero-shot pose estimation results outperform the SOTA pose estimators with better efficiency.