静的シーンの新しいビュー合成は、フォトリアリスティックな結果を生成する上で目覚ましい進歩を遂げました。ただし、動的コンテンツの没入型レンダリングには重要な課題が残っています。たとえば、独創的な画像ベースのレンダリングフレームワークの1つであるマルチプレーン画像(MPI)は、静的シーンに対して高い新規ビュー合成品質を生成しますが、動的パーツのモデリングは困難です。さらに、MPIを介して動的変動をモデル化するには、膨大なストレージスペースと長い推論時間が必要になる場合があり、リアルタイムシナリオでのアプリケーションの妨げになります。この論文では、ビデオ全体の豊富な3Dおよび動的変動情報をコンパクトな時間ベースとしてエンコードできる新しいTemporal-MPI表現を提案します。非常にコンパクトで表現力豊かな潜在的基礎と共同で学習された係数により、任意の時点での新しいビューを高い視覚品質でリアルタイムにレンダリングすることができます。同等のメモリ消費量が与えられた場合、提案されたTemporal-MPIフレームワークはわずか0.002秒でタイムインスタンスMPIを生成できることを示します。これは、他の状態と比較して3dB高い平均ビュー合成PSNRで最大3000倍高速です。最先端のダイナミックシーンモデリングフレームワーク。
Novel view synthesis of static scenes has achieved remarkable advancements in producing photo-realistic results. However, key challenges remain for immersive rendering for dynamic contents. For example, one of the seminal image-based rendering frameworks, the multi-plane image (MPI) produces high novel-view synthesis quality for static scenes but faces difficulty in modeling dynamic parts. In addition, modeling dynamic variations through MPI may require huge storage space and long inference time, which hinders its application in real-time scenarios. In this paper, we propose a novel Temporal-MPI representation which is able to encode the rich 3D and dynamic variation information throughout the entire video as compact temporal basis. Novel-views at arbitrary time-instance will be able to be rendered real-time with high visual quality due to the highly compact and expressive latent basis and the coefficients jointly learned. We show that given comparable memory consumption, our proposed Temporal-MPI framework is able to generate a time-instance MPI with only 0.002 seconds, which is up to 3000 times faster, with 3dB higher average view-synthesis PSNR as compared with other state-of-the-art dynamic scene modelling frameworks.