モデルを事前に知らなくても、RGBまたはRGB-D画像のシーケンスからロボットアームのジョイント構成を推定し、カテゴリに依存しない関節式オブジェクトポーズ推定のタスクに適応させる、教師なしビジョンベースのシステムを提案します。古典的な幾何学的定式化と深層学習を組み合わせ、エピポーラ制約の使用をマルチリジッドボディシステムに拡張して、このタスクを解決します。ビデオシーケンスが与えられると、オプティカルフローはピクセル単位の密な対応を得るために推定されます。その後、6Dポーズは修正されたPnPアルゴリズムによって計算されます。重要なアイデアは、幾何学的制約と複数のフレーム間の制約を活用することです。さらに、ビジョンベースのロボット制御とロボットビジョンの研究のために、さまざまな種類のロボットと多関節関節オブジェクトを使用して合成データセットを構築します。 3つのベンチマークデータセットでこの方法の有効性を示し、ロボットアームと関節オブジェクトの関節角度を推定する際に、この方法が最先端の教師あり方法よりも高い精度を達成することを示します。
We propose an unsupervised vision-based system to estimate the joint configurations of the robot arm from a sequence of RGB or RGB-D images without knowing the model a priori, and then adapt it to the task of category-independent articulated object pose estimation. We combine a classical geometric formulation with deep learning and extend the use of epipolar constraint to multi-rigid-body systems to solve this task. Given a video sequence, the optical flow is estimated to get the pixel-wise dense correspondences. After that, the 6D pose is computed by a modified PnP algorithm. The key idea is to leverage the geometric constraints and the constraint between multiple frames. Furthermore, we build a synthetic dataset with different kinds of robots and multi-joint articulated objects for the research of vision-based robot control and robotic vision. We demonstrate the effectiveness of our method on three benchmark datasets and show that our method achieves higher accuracy than the state-of-the-art supervised methods in estimating joint angles of robot arms and articulated objects.