最新の 6D オブジェクトのポーズ方法では、2D オプティカル フローを使用して結果を改良しています。ただし、一般的なオプティカル フロー手法では、マッチング中にターゲットの 3D 形状情報が考慮されないため、6D オブジェクトの姿勢推定では効果が低くなります。この研究では、6D オブジェクトの姿勢推定のための形状制約反復マッチング フレームワークを提案します。まず、初期ポーズと現在推定されているポーズの間の 2D 再投影の変位に基づいてポーズ誘発フローを計算します。これにより、ターゲットの 3D 形状が暗黙的に埋め込まれます。次に、このポーズ誘発フローを使用して、次のマッチング反復の相関マップを構築します。これにより、マッチング スペースが大幅に削減され、学習がはるかに簡単になります。さらに、ネットワークを使用して、現在の推定フローに基づいてオブジェクトの姿勢を学習します。これにより、次の反復のための姿勢に起因するフローの計算が容易になり、オブジェクトの姿勢に関するエンドツーエンドのシステムが得られます。最後に、オプティカル フローとオブジェクトのポーズを反復的な方法で同時に最適化します。 3 つの困難な 6D オブジェクト姿勢データセットで私たちの方法を評価し、精度と効率の両方で最先端の方法を大幅に上回っていることを示します。
Most recent 6D object pose methods use 2D optical flow to refine their results. However, the general optical flow methods typically do not consider the target's 3D shape information during matching, making them less effective in 6D object pose estimation. In this work, we propose a shape-constraint recurrent matching framework for 6D object pose estimation. We first compute a pose-induced flow based on the displacement of 2D reprojection between the initial pose and the currently estimated pose, which embeds the target's 3D shape implicitly. Then we use this pose-induced flow to construct the correlation map for the following matching iterations, which reduces the matching space significantly and is much easier to learn. Furthermore, we use networks to learn the object pose based on the current estimated flow, which facilitates the computation of the pose-induced flow for the next iteration and yields an end-to-end system for object pose. Finally, we optimize the optical flow and object pose simultaneously in a recurrent manner. We evaluate our method on three challenging 6D object pose datasets and show that it outperforms the state of the art significantly in both accuracy and efficiency.