人間のパフォーマンスキャプチャは、映画制作や仮想/拡張現実の多くのアプリケーションで非常に重要なコンピュータビジョンの問題です。以前のパフォーマンスキャプチャアプローチの多くは、高価なマルチビューセットアップを必要とするか、フレーム間の対応を伴う高密度の時空間コヒーレントジオメトリを回復しませんでした。単眼の密な人間のパフォーマンスキャプチャのための新しい深層学習アプローチを提案します。私たちの方法は、マルチビュー監視に基づいて弱く監視された方法でトレーニングされ、3Dグラウンドトゥルースアノテーションを使用してデータをトレーニングする必要が完全になくなります。ネットワークアーキテクチャは、タスクをポーズ推定と非剛体表面変形ステップに解きほぐす2つの別々のネットワークに基づいています。広範な定性的および定量的評価は、私たちのアプローチが品質と堅牢性の点で最先端を上回っていることを示しています。この作品はDeepCapの拡張バージョンであり、より詳細な説明、比較、結果、およびアプリケーションを提供します。
Human performance capture is a highly important computer vision problem with many applications in movie production and virtual/augmented reality. Many previous performance capture approaches either required expensive multi-view setups or did not recover dense space-time coherent geometry with frame-to-frame correspondences. We propose a novel deep learning approach for monocular dense human performance capture. Our method is trained in a weakly supervised manner based on multi-view supervision completely removing the need for training data with 3D ground truth annotations. The network architecture is based on two separate networks that disentangle the task into a pose estimation and a non-rigid surface deformation step. Extensive qualitative and quantitative evaluations show that our approach outperforms the state of the art in terms of quality and robustness. This work is an extended version of DeepCap where we provide more detailed explanations, comparisons and results as well as applications.