arXiv reaDer
HOSNeRF: 単一のビデオからのダイナミックなヒューマン オブジェクト シーン ニューラル ラディアンス フィールド
HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video
HOSNeRF は、単一の単眼の野生のビデオから動的な人間オブジェクト シーンのニューラル放射輝度フィールドを再構築する新しい 360° 自由視点レンダリング方法です。私たちの方法では、任意のフレームでビデオを一時停止し、任意の視点からすべてのシーンの詳細 (動的な人物、オブジェクト、および背景) をレンダリングできます。このタスクの最初の課題は、人間とオブジェクトの相互作用における複雑なオブジェクトの動きです。新しいオブジェクトの骨を従来の人間のスケルトン階層に導入して、動的な人間とオブジェクトのモデルで大きなオブジェクトの変形を効果的に推定することで取り組みます。 2 番目の課題は、人間がさまざまな時間にさまざまなオブジェクトと対話することです。そのために、人間とオブジェクトの表現とシーンの表現をそれぞれ学習するための条件として使用できる 2 つの新しい学習可能なオブジェクト状態埋め込みを導入します。広範な実験により、HOSNeRF は、LPIPS に関して 40% ~ 50% という大きな差で、2 つの困難なデータセットに対する SOTA アプローチよりも大幅に優れていることが示されています。単一のビデオからの 360° 自由視点レンダリングのコード、データ、説得力のある例は、https://showlab.github.io/HOSNeRF でリリースされます。
We introduce HOSNeRF, a novel 360° free-viewpoint rendering method that reconstructs neural radiance fields for dynamic human-object-scene from a single monocular in-the-wild video. Our method enables pausing the video at any frame and rendering all scene details (dynamic humans, objects, and backgrounds) from arbitrary viewpoints. The first challenge in this task is the complex object motions in human-object interactions, which we tackle by introducing the new object bones into the conventional human skeleton hierarchy to effectively estimate large object deformations in our dynamic human-object model. The second challenge is that humans interact with different objects at different times, for which we introduce two new learnable object state embeddings that can be used as conditions for learning our human-object representation and scene representation, respectively. Extensive experiments show that HOSNeRF significantly outperforms SOTA approaches on two challenging datasets by a large margin of 40% ~ 50% in terms of LPIPS. The code, data, and compelling examples of 360° free-viewpoint renderings from single videos will be released in https://showlab.github.io/HOSNeRF.
updated: Mon Apr 24 2023 17:21:49 GMT+0000 (UTC)
published: Mon Apr 24 2023 17:21:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト