ディープラーニングとさまざまな斬新な表現のおかげで、画像ビューの合成はフォトリアリスティックなビジュアルの再構築に大きな成功を収めています。没入型仮想体験の次の重要なステップは、動的シーンのビュー合成です。ただし、高品質のトレーニングデータセットがないこと、および動的シーンのビデオの時間ディメンションが追加されるため、いくつかの課題が存在します。この問題に対処するために、120FPSのカスタム10カメラリグでキャプチャされたマルチビュービデオデータセットを紹介します。データセットには、屋外シーンでのさまざまな視覚効果と人間の相互作用を示す96の高品質シーンが含まれています。新しいアルゴリズムであるDeep3D Mask Volumeを開発しました。これにより、静的カメラでキャプチャされた動的シーンの両眼ビデオから時間的に安定したビューの外挿が可能になります。私たちのアルゴリズムは、エラーが発生しやすい領域を3Dマスクボリュームで識別し、ビデオ全体で観察される静的な背景に置き換えることで、閉塞解除の時間的な不整合に対処します。私たちの方法は、単純な2Dマスクとは対照的に、3D空間での操作を可能にします。フレームごとの静的ビュー合成方法や2Dマスクを使用する方法よりも優れた時間的安定性を示します。結果として得られるビュー合成ビデオは、ちらつきのアーティファクトを最小限に抑え、より大きな並進運動を可能にします。
Image view synthesis has seen great success in reconstructing photorealistic visuals, thanks to deep learning and various novel representations. The next key step in immersive virtual experiences is view synthesis of dynamic scenes. However, several challenges exist due to the lack of high-quality training datasets, and the additional time dimension for videos of dynamic scenes. To address this issue, we introduce a multi-view video dataset, captured with a custom 10-camera rig in 120FPS. The dataset contains 96 high-quality scenes showing various visual effects and human interactions in outdoor scenes. We develop a new algorithm, Deep 3D Mask Volume, which enables temporally-stable view extrapolation from binocular videos of dynamic scenes, captured by static cameras. Our algorithm addresses the temporal inconsistency of disocclusions by identifying the error-prone areas with a 3D mask volume, and replaces them with static background observed throughout the video. Our method enables manipulation in 3D space as opposed to simple 2D masks, We demonstrate better temporal stability than frame-by-frame static view synthesis methods, or those that use 2D masks. The resulting view synthesis videos show minimal flickering artifacts and allow for larger translational movements.