arXiv reaDer
動的シーンの時空間ビュー合成のためのニューラルシーンフローフィールド
Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
入力として既知のカメラポーズを持つ単眼ビデオのみを必要とする、動的シーンの新しいビューと時間合成を実行する方法を提示します。これを行うために、Neural Scene Flow Fieldsを導入します。これは、動的シーンを、外観、ジオメトリ、および3Dシーンモーションの時変連続関数としてモデル化する新しい表現です。私たちの表現は、観測された入力ビューに合うようにニューラルネットワークを介して最適化されます。私たちの表現は、薄い構造、ビューに依存する効果、自然な動きの程度など、複雑な動的シーンに使用できることを示しています。私たちのアプローチが最近の単眼ビュー合成方法を大幅に上回っていることを実証し、さまざまな実世界のビデオで時空間ビュー合成の定性的な結果を示す多くの実験を実施します。
We present a method to perform novel view and time synthesis of dynamic scenes, requiring only a monocular video with known camera poses as input. To do this, we introduce Neural Scene Flow Fields, a new representation that models the dynamic scene as a time-variant continuous function of appearance, geometry, and 3D scene motion. Our representation is optimized through a neural network to fit the observed input views. We show that our representation can be used for complex dynamic scenes, including thin structures, view-dependent effects, and natural degrees of motion. We conduct a number of experiments that demonstrate our approach significantly outperforms recent monocular view synthesis methods, and show qualitative results of space-time view synthesis on a variety of real-world videos.
updated: Wed Apr 21 2021 02:11:44 GMT+0000 (UTC)
published: Thu Nov 26 2020 01:23:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト