既存のマルチプレーンイメージ(MPI)ベースのビュー合成方法は、1回のフォワードパスで固定数のプレーンを使用して、入力ビューに位置合わせされたMPIを生成します。これらの方法は、新しいビューの高速で高品質のレンダリングを生成しますが、リアルタイムアプリケーションには適さない、低速で計算コストの高いMPI生成方法に依存しています。さらに、ほとんどのMPI手法では、固定の深度/視差平面を使用しますが、トレーニングが完了すると変更できないため、実行時の柔軟性はほとんどありません。 LiveViewを提案します。これは、リアルタイムで高品質のビュー合成を生成する新しいMPI生成およびレンダリング手法です。私たちの方法は、実行時にシーンに依存するMPIプレーン(プレーンの数とそれらの間の間隔)を選択する柔軟性も提供できます。 LiveViewは、最初に入力画像をターゲットビュー(ターゲット中心)にワープし、次にターゲットビュー中心のMPIを一度に1つの深度平面で(動的に)生成することを学習します。このメソッドは、高品質のレンダリングを生成すると同時に、高速MPI生成と新しいビュー合成を可能にします。その結果、LiveViewは、入力ビューのビデオストリームに基づいてMPIを頻繁に更新する必要があるリアルタイムのビュー合成アプリケーションを可能にします。 LiveViewは、最先端のMPIベースの方法と比較して、実行時に70倍高速でありながら、ビュー合成の品質を向上させることを示しています。
Existing Multi-Plane Image (MPI) based view-synthesis methods generate an MPI aligned with the input view using a fixed number of planes in one forward pass. These methods produce fast, high-quality rendering of novel views, but rely on slow and computationally expensive MPI generation methods unsuitable for real-time applications. In addition, most MPI techniques use fixed depth/disparity planes which cannot be modified once the training is complete, hence offering very little flexibility at run-time. We propose LiveView - a novel MPI generation and rendering technique that produces high-quality view synthesis in real-time. Our method can also offer the flexibility to select scene-dependent MPI planes (number of planes and spacing between them) at run-time. LiveView first warps input images to target view (target-centered) and then learns to generate a target view centered MPI, one depth plane at a time (dynamically). The method generates high-quality renderings, while also enabling fast MPI generation and novel view synthesis. As a result, LiveView enables real-time view synthesis applications where an MPI needs to be updated frequently based on a video stream of input views. We demonstrate that LiveView improves the quality of view synthesis while being 70 times faster at run-time compared to state-of-the-art MPI-based methods.