単眼RGBビデオから非剛体表面追跡のための効率的な方法を提案します。ビデオとテンプレートメッシュが与えられると、私たちのアルゴリズムはテンプレートを各フレームに非厳密に順次登録します。フレームごとの登録を最適化問題として定式化します。これには、均一なテクスチャであるが、ファブリックの通常の微細構造パターンなどの微細構造を持つオブジェクトを追跡するために特別に調整された新しいテクスチャ用語が含まれます。私たちのテクスチャ用語は、オブジェクトの微細構造、たとえば布の毛糸パターンの方向情報を利用します。これにより、従来の測光用語では通常効果が低い、これらの高周波微細構造を持つ均一に着色された材料を正確に追跡できます。結果は、一般的なテクスチャの非剛性オブジェクトと単色ファブリックの両方に対する私たちの方法の有効性を示しています。
We propose an efficient method for non-rigid surface tracking from monocular RGB videos. Given a video and a template mesh, our algorithm sequentially registers the template non-rigidly to each frame. We formulate the per-frame registration as an optimization problem that includes a novel texture term specifically tailored towards tracking objects with uniform texture but fine-scale structure, such as the regular micro-structural patterns of fabric. Our texture term exploits the orientation information in the micro-structures of the objects, e.g., the yarn patterns of fabrics. This enables us to accurately track uniformly colored materials that have these high frequency micro-structures, for which traditional photometric terms are usually less effective. The results demonstrate the effectiveness of our method on both general textured non-rigid objects and monochromatic fabrics.