arXiv reaDer
非剛体神経放射輝度場:単眼ビデオからの変形シーンの再構成と新しいビュー合成
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Deforming Scene from Monocular Video
この技術レポートでは、光線の曲げによる一般的な非剛体シーンのニューラル放射輝度フィールド(NERF)の再構築に関する現在進行中の作業の現状を示します。非剛体NeRF(NR-NeRF)は、変形するオブジェクトのRGB画像(単眼ビデオなど)を入力として取得し、入力シーケンスを再構築するだけでなく、任意の画像を再レンダリングできるジオメトリと外観の表現を学習します。忠実度の高い斬新なカメラビューへのタイムステップ。特に、消費者向けカメラは、短くて単純なシーンの説得力のあるバレットタイムのビデオを合成するのに十分であることを示しています。さらに、結果の表現により、ビューと時間にわたる対応の推定が可能になり、シーン内の各ポイントの剛性スコアが提供されます。定性的な結果を得るために、補足ビデオをご覧になることをお勧めします。
In this tech report, we present the current state of our ongoing work on reconstructing Neural Radiance Fields (NERF) of general non-rigid scenes via ray bending. Non-rigid NeRF (NR-NeRF) takes RGB images of a deforming object (e.g., from a monocular video) as input and then learns a geometry and appearance representation that not only allows to reconstruct the input sequence but also to re-render any time step into novel camera views with high fidelity. In particular, we show that a consumer-grade camera is sufficient to synthesize convincing bullet-time videos of short and simple scenes. In addition, the resulting representation enables correspondence estimation across views and time, and provides rigidity scores for each point in the scene. We urge the reader to watch the supplemental videos for qualitative results.
updated: Tue Dec 22 2020 18:46:12 GMT+0000 (UTC)
published: Tue Dec 22 2020 18:46:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト