単一画像のパラメトリック 3D 人間再構築のためのニューラル ネットワーク アーキテクチャである Recurrent Fitting (ReFit) を紹介します。 ReFit は、最適化を通じて逆問題を解決する戦略を反映するフィードバック更新ループを学習します。各反復ステップで、キーポイントを人体モデルから特徴マップに再投影してフィードバックをクエリし、再帰ベースのアップデーターを使用して画像によりよく適合するようにモデルを調整します。 ReFit は逆問題に関する強力な知識をエンコードするため、以前の回帰モデルよりもトレーニングが速くなります。同時に、ReFit は標準ベンチマークでの最先端のパフォーマンスを向上させます。さらに、ReFit は、マルチビュー フィッティングやシングルビュー シェイプ フィッティングなどの他の最適化設定にも適用されます。プロジェクトWebサイト:https://yufu-wang.github.io/refit_humans/
We present Recurrent Fitting (ReFit), a neural network architecture for single-image, parametric 3D human reconstruction. ReFit learns a feedback-update loop that mirrors the strategy of solving an inverse problem through optimization. At each iterative step, it reprojects keypoints from the human model to feature maps to query feedback, and uses a recurrent-based updater to adjust the model to fit the image better. Because ReFit encodes strong knowledge of the inverse problem, it is faster to train than previous regression models. At the same time, ReFit improves state-of-the-art performance on standard benchmarks. Moreover, ReFit applies to other optimization settings, such as multi-view fitting and single-view shape fitting. Project website: https://yufu-wang.github.io/refit_humans/