arXiv reaDer
DoubleField: 忠実度の高い人間のレンダリングのためのニューラル サーフェスとラディアンス フィールドのブリッジ
DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Rendering
DoubleField は、サーフェス フィールドとラディアンス フィールドの両方のメリットを組み合わせた新しい表現であり、忠実度の高い人間のレンダリングを実現します。 DoubleField 内では、表面フィールドと放射輝度フィールドは、共有機能の埋め込みと表面ガイド付きサンプリング戦略によって一緒に関連付けられます。このように、DoubleField には、ジオメトリと外観のモデリングのための連続的だが絡み合っていない学習スペースがあり、高速なトレーニング、推論、および微調整がサポートされます。高忠実度の自由視点レンダリングを実現するために、DoubleField は超高解像度入力を活用するようにさらに強化されています。元の解像度。 DoubleField の有効性は、いくつかのデータセットの定量的評価と、現実世界のまばらなマルチビュー システムでの定性的結果によって検証され、写真のようにリアルな自由視点の人間のレンダリングに対する優れた能力を示しています。コードとデモ ビデオについては、プロジェクト ページ ( を参照してください。
We introduce DoubleField, a novel representation combining the merits of both surface field and radiance field for high-fidelity human rendering. Within DoubleField, the surface field and radiance field are associated together by a shared feature embedding and a surface-guided sampling strategy. In this way, DoubleField has a continuous but disentangled learning space for geometry and appearance modeling, which supports fast training, inference, and finetuning. To achieve high-fidelity free-viewpoint rendering, DoubleField is further augmented to leverage ultra-high-resolution inputs, where a view-to-view transformer and a transfer learning scheme are introduced for more efficient learning and finetuning from sparse-view inputs at original resolutions. The efficacy of DoubleField is validated by the quantitative evaluations on several datasets and the qualitative results in a real-world sparse multi-view system, showing its superior capability for photo-realistic free-viewpoint human rendering. For code and demo video, please refer to our project page:
updated: Tue Jun 08 2021 13:22:11 GMT+0000 (UTC)
published: Mon Jun 07 2021 17:08:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト