静止シーンの新しいビュー合成は、写真のようにリアルな結果の生成において目覚ましい進歩を遂げました。ただし、動的シーンの没入型レンダリングには、重要な課題が残っています。独創的な画像ベースのレンダリング方法の 1 つであるマルチプレーン画像 (MPI) は、静的シーンに対して高い斬新なビュー合成品質を生成します。しかし、MPI による動的コンテンツのモデル化は検討されていません。この論文では、コンパクトな時間ベースと一緒に学習された係数として、ビデオ全体を通して豊富な 3D および動的変動情報をエンコードできる新しい Temporal-MPI 表現を提案します。レンダリング用のタイムインスタンス MPI は、Temporal-MPI からの時間ベースと係数の線形結合によるミニ秒を使用して効率的に生成できます。したがって、任意の時間インスタンスでの新規ビューは、Temporal-MPI を介してリアルタイムで高い視覚品質でレンダリングできます。私たちの方法は、Nvidia Dynamic Scene Dataset でトレーニングされ、評価されます。私たちが提案するTemporal-MPIは、他の最先端の動的シーンモデリング手法と比較して、はるかに高速でコンパクトであることを示しています。
Novel view synthesis of static scenes has achieved remarkable advancements in producing photo-realistic results. However, key challenges remain for immersive rendering of dynamic scenes. One of the seminal image-based rendering method, the multi-plane image (MPI), produces high novel-view synthesis quality for static scenes. But modelling dynamic contents by MPI is not studied. In this paper, we propose a novel Temporal-MPI representation which is able to encode the rich 3D and dynamic variation information throughout the entire video as compact temporal basis and coefficients jointly learned. Time-instance MPI for rendering can be generated efficiently using mini-seconds by linear combinations of temporal basis and coefficients from Temporal-MPI. Thus novel-views at arbitrary time-instance will be able to be rendered via Temporal-MPI in real-time with high visual quality. Our method is trained and evaluated on Nvidia Dynamic Scene Dataset. We show that our proposed Temporal- MPI is much faster and more compact compared with other state-of-the-art dynamic scene modelling methods.