arXiv reaDer
ROBUSfT: ロバストなリアルタイムの Shape-from-Template、C++ ライブラリ
ROBUSfT: Robust Real-Time Shape-from-Template, a C++ Library
単眼 2D ビジョンのみを使用して変形オブジェクトの 3D 形状を追跡することは、困難な問題です。これは、(i) 2D 画像から 3D 形状を推測する必要があるためです。これは非常に制約条件の厳しい問題であり、(ii) ソリューション パイプライン全体をリアルタイムで実装する必要があります。パイプラインには通常、特徴の検出とマッチング、ミスマッチ フィルタリング、3D 形状の推定、特徴追跡のアルゴリズムが必要です。オブジェクトの静止形状、テクスチャマップ、および変形法則を含むテンプレートに基づく従来のパイプラインである ROBUSfT を提案します。 ROBUSfT はすぐに使用でき、ベースラインが広く、大規模な変形を処理でき、最大 30 fps まで高速で、トレーニングが不要で、ビデオ フレームの部分的なオクルージョンや不連続性に対して堅牢です。困難なデータセットでは、最先端の方法よりも優れています。 ROBUSfT は公開されている C++ ライブラリとして実装されており、https://github.com/mrshetab/ROBUSfT で使用方法のチュートリアルを提供しています。
Tracking the 3D shape of a deforming object using only monocular 2D vision is a challenging problem. This is because one should (i) infer the 3D shape from a 2D image, which is a severely underconstrained problem, and (ii) implement the whole solution pipeline in real-time. The pipeline typically requires feature detection and matching, mismatch filtering, 3D shape inference and feature tracking algorithms. We propose ROBUSfT, a conventional pipeline based on a template containing the object's rest shape, texturemap and deformation law. ROBUSfT is ready-to-use, wide-baseline, capable of handling large deformations, fast up to 30 fps, free of training, and robust against partial occlusions and discontinuity in video frames. It outperforms the state-of-the-art methods in challenging datasets. ROBUSfT is implemented as a publicly available C++ library and we provide a tutorial on how to use it in https://github.com/mrshetab/ROBUSfT
updated: Tue Jan 10 2023 15:39:02 GMT+0000 (UTC)
published: Tue Jan 10 2023 15:39:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト