運動からの構造(SfM)を使用すると、さまざまな視点のカメラからのカジュアルなキャプチャを介してシーンを再構築できます。また、新しいビュー合成(NVS)を使用すると、キャプチャしたシーンを新しい視点からレンダリングできます。どちらもカジュアルなキャプチャと動的なシーンでは困難です。SfMは、ノイズが多く、時空間的にまばらな再構築された点群を生成するため、時空間的に一貫性のない効果を持つNVSが生成されます。課題を緩和するために、SfMとNVSのパーツを一緒に検討します。まず、SfMの場合、安定したカメラポーズを復元し、次にシーン全体で時間的に一貫性のあるポイントの要件を延期し、時空間でノイズの多いタイムステップごとにスパースポイントクラウドのみを再構築します。次に、NVSの場合、入力ビューから導出されたピクセルごとの再投影の重みを介して時空間一貫性を適用することにより、ノイズに確実に対処できる深さと色の変分拡散定式化を提示します。同時に、この延期されたアプローチは、挑戦的な時空間的に一貫した再構築を必要とせず、大規模なデータセットで複雑なモデルをトレーニングすることなく、動的シーンの新しいビューを生成します。従来の学習ベースのベースラインアプローチに対して、実際の動的シーンでアルゴリズムを示します。
Structure from motion (SfM) enables us to reconstruct a scene via casual capture from cameras at different viewpoints, and novel view synthesis (NVS) allows us to render a captured scene from a new viewpoint. Both are hard with casual capture and dynamic scenes: SfM produces noisy and spatio-temporally sparse reconstructed point clouds, resulting in NVS with spatio-temporally inconsistent effects. We consider SfM and NVS parts together to ease the challenge. First, for SfM, we recover stable camera poses, then we defer the requirement for temporally-consistent points across the scene and reconstruct only a sparse point cloud per timestep that is noisy in space-time. Second, for NVS, we present a variational diffusion formulation on depths and colors that lets us robustly cope with the noise by enforcing spatio-temporal consistency via per-pixel reprojection weights derived from the input views. Together, this deferred approach generates novel views for dynamic scenes without requiring challenging spatio-temporally consistent reconstructions nor training complex models on large datasets. We demonstrate our algorithm on real-world dynamic scenes against classic and more recent learning-based baseline approaches.