回帰ベースの方法は、マルチビュー ヒューマン メッシュの復元に高い効率と有効性を示しています。典型的なリグレッサーの重要なコンポーネントは、入力ビューの特徴抽出とマルチビュー特徴の融合にあります。このペーパーでは、マルチビュー画像から正確かつ効率的なヒューマン メッシュを復元するためのピクセル アライン フィードバック フュージョン (PaFF) を紹介します。 PaFF は、特徴抽出と融合を交互に実行する反復回帰フレームワークです。各反復で、PaFF は、現在の推定の再投影に従って各入力ビューからピクセル整列フィードバック機能を抽出し、ダウンサンプリングされたメッシュの各頂点に関してそれらを融合します。このように、リグレッサーは、フィードバック フィーチャから各ビューのミスアライメント ステータスを認識するだけでなく、メッシュ頂点のフィーチャ フュージョンに基づいてメッシュ パラメータをより効果的に修正することもできます。さらに、リグレッサーは、入力ビューのカメラ パラメーターを回帰プロセスでより適切に利用できるように、メッシュ パラメーターの推定からボディ メッシュの全体的な向きと変換を解きほぐします。私たちの方法の有効性は、PaFFが33.02 MPJPEを達成し、以前の最良のソリューションを29%以上大幅に改善する包括的なアブレーション実験を通じて、Human3.6Mデータセットで検証されています。コードとビデオの結果を含むプロジェクト ページは、https://kairobo.github.io/PaFF/ にあります。
Regression-based methods have shown high efficiency and effectiveness for multi-view human mesh recovery. The key components of a typical regressor lie in the feature extraction of input views and the fusion of multi-view features. In this paper, we present Pixel-aligned Feedback Fusion (PaFF) for accurate yet efficient human mesh recovery from multi-view images. PaFF is an iterative regression framework that performs feature extraction and fusion alternately. At each iteration, PaFF extracts pixel-aligned feedback features from each input view according to the reprojection of the current estimation and fuses them together with respect to each vertex of the downsampled mesh. In this way, our regressor can not only perceive the misalignment status of each view from the feedback features but also correct the mesh parameters more effectively based on the feature fusion on mesh vertices. Additionally, our regressor disentangles the global orientation and translation of the body mesh from the estimation of mesh parameters such that the camera parameters of input views can be better utilized in the regression process. The efficacy of our method is validated in the Human3.6M dataset via comprehensive ablation experiments, where PaFF achieves 33.02 MPJPE and brings significant improvements over the previous best solutions by more than 29%. The project page with code and video results can be found at https://kairobo.github.io/PaFF/.