スパースマルチビューカメラを使用した複数人のパフォーマンスキャプチャの新しい方法であるDeepMultiCapを提案します。私たちの方法は、事前にスキャンされたテンプレートモデルを使用せずに、時間とともに変化する表面の詳細をキャプチャできます。密接に相互作用するシーンの深刻なオクルージョンの課題に取り組むために、最近提案されたピクセル整列陰関数をパラメトリックモデルと組み合わせて、目に見えない表面領域を堅牢に再構築します。効果的な注意認識モジュールは、マルチビュー画像からきめ細かいジオメトリの詳細を取得するように設計されており、忠実度の高い結果を生成できます。空間的注意法に加えて、ビデオ入力のために、我々はさらに、動くキャラクターの再構成のためのノイズと時間的不一致を軽減するための新しい時間的融合法を提案する。定量的評価のために、高品質の複数人データセットであるMultiHumanを提供します。これは、さまざまなレベルのオクルージョンとグラウンドトゥルース3D人間モデルを持つ150の静的シーンで構成されています。実験結果は、私たちの方法の最先端のパフォーマンスと、実際のマルチビュービデオデータへの十分な一般化を示しています。これは、以前の作業を大幅に上回っています。
We propose DeepMultiCap, a novel method for multi-person performance capture using sparse multi-view cameras. Our method can capture time varying surface details without the need of using pre-scanned template models. To tackle with the serious occlusion challenge for close interacting scenes, we combine a recently proposed pixel-aligned implicit function with parametric model for robust reconstruction of the invisible surface areas. An effective attention-aware module is designed to obtain the fine-grained geometry details from multi-view images, where high-fidelity results can be generated. In addition to the spatial attention method, for video inputs, we further propose a novel temporal fusion method to alleviate the noise and temporal inconsistencies for moving character reconstruction. For quantitative evaluation, we contribute a high quality multi-person dataset, MultiHuman, which consists of 150 static scenes with different levels of occlusions and ground truth 3D human models. Experimental results demonstrate the state-of-the-art performance of our method and the well generalization to real multiview video data, which outperforms the prior works by a large margin.