arXiv reaDer
LookinGood ^π:高品質の人間のパフォーマンスキャプチャのためのリアルタイムの人に依存しないニューラルリレンダリング
LookinGood^π: Real-time Person-independent Neural Re-rendering for High-quality Human Performance Capture
LookinGood ^πを提案します。これは、(1)人間のパフォーマンスキャプチャシステムからの低品質の再構成結果のレンダリング品質をリアルタイムで改善することを目的とした新しいニューラル再レンダリングアプローチです。 (2)見えない人のニューラルレンダリングネットワークの一般化能力を向上させます。私たちの重要なアイデアは、再構成されたジオメトリのレンダリングされた画像をガイダンスとして利用して、いくつかの参照画像からの個人固有の詳細の予測を支援し、再レンダリングされた結果を強化することです。これに照らして、2つのブランチネットワークを設計します。粗いブランチは、いくつかのアーティファクト(つまり、穴、ノイズ)を修正し、レンダリングされた入力の粗いバージョンを取得するように設計されています。一方、詳細ブランチは、ワープされた参照から「正しい」詳細を予測するように設計されています。レンダリングされた画像のガイダンスは、詳細ブランチのトレーニングで2つのブランチの特徴を効果的にブレンドすることによって実現されます。これにより、ワーピングの精度と詳細の忠実度の両方が向上します。私たちの方法は、目に見えない人々に忠実度の高い画像を生成するという点で、最先端の方法よりも優れていることを示しています。
We propose LookinGood^π, a novel neural re-rendering approach that is aimed to (1) improve the rendering quality of the low-quality reconstructed results from human performance capture system in real-time; (2) improve the generalization ability of the neural rendering network on unseen people. Our key idea is to utilize the rendered image of reconstructed geometry as the guidance to assist the prediction of person-specific details from few reference images, thus enhancing the re-rendered result. In light of this, we design a two-branch network. A coarse branch is designed to fix some artifacts (i.e. holes, noise) and obtain a coarse version of the rendered input, while a detail branch is designed to predict "correct" details from the warped references. The guidance of the rendered image is realized by blending features from two branches effectively in the training of the detail branch, which improves both the warping accuracy and the details' fidelity. We demonstrate that our method outperforms state-of-the-art methods at producing high-fidelity images on unseen people.
updated: Wed Dec 15 2021 11:00:21 GMT+0000 (UTC)
published: Wed Dec 15 2021 11:00:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト