単一のビデオから動的シーンの時空間神経放射照度フィールドを学習する方法を提示します。学習した表現により、入力ビデオの自由な視点でのレンダリングが可能になります。私たちの方法は、暗黙の表現における最近の進歩に基づいています。単一のビデオから時空間放射照度フィールドを学習することは、ビデオが任意の時点でシーンの1つの観測のみを含むため、重大な課題をもたらします。シーンの3Dジオメトリは、さまざまなジオメトリ(モーション)をさまざまな外観で説明できるため、さまざまな方法で合法的に表現できます。その逆も同様です。ビデオ深度推定方法から推定されたシーン深度を使用して動的シーン表現の時間変化するジオメトリを制約し、個々のフレームのコンテンツを単一のグローバル表現に集約することによって、このあいまいさに対処します。広範な定量的評価を提供し、説得力のある自由視点のレンダリング結果を示します。
We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results.