arXiv reaDer
動的シーンにおける斬新なビューと時間合成のためのポータブル多眼カメラ
A Portable Multiscopic Camera for Novel View and Time Synthesis in Dynamic Scenes
ダイナミックなシーンでの斬新なビューと時間合成のための専用モデルを備えたポータブルマルチスコピックカメラシステムを紹介します。私たちの目標は、ポータブル多眼カメラを使用して、いつでも、どの視点からでもダイナミックなシーンの高品質の画像をレンダリングすることです。このような新しいビューと時間合成を実現するために、動的シーンの時間ドメインと空間ドメインの両方で神経放射輝度場 (NeRF) をトレーニングするために、5 台のカメラを搭載した物理多眼カメラを開発します。私たちのモデルは、6D 座標 (3D 空間位置、1D 時間座標、および 2D ビュー方向) を、ビューに依存し、時間によって変化する放射輝度と体積密度にマッピングします。ボリューム レンダリングを適用して、指定したカメラ ポーズと時間で写真のようにリアルなイメージをレンダリングします。物理カメラの堅牢性を向上させるために、カメラパラメーター最適化モジュールと時間フレーム補間モジュールを提案して、時間の経過に伴う情報の伝播を促進します。システムを評価するために、実世界と合成データセットの両方で実験を行い、結果は、私たちのアプローチが代替ソリューションよりも質的および量的に優れていることを示しています。私たちのコードとデータセットは、https://yuenfuilau.github.io で入手できます。
We present a portable multiscopic camera system with a dedicated model for novel view and time synthesis in dynamic scenes. Our goal is to render high-quality images for a dynamic scene from any viewpoint at any time using our portable multiscopic camera. To achieve such novel view and time synthesis, we develop a physical multiscopic camera equipped with five cameras to train a neural radiance field (NeRF) in both time and spatial domains for dynamic scenes. Our model maps a 6D coordinate (3D spatial position, 1D temporal coordinate, and 2D viewing direction) to view-dependent and time-varying emitted radiance and volume density. Volume rendering is applied to render a photo-realistic image at a specified camera pose and time. To improve the robustness of our physical camera, we propose a camera parameter optimization module and a temporal frame interpolation module to promote information propagation across time. We conduct experiments on both real-world and synthetic datasets to evaluate our system, and the results show that our approach outperforms alternative solutions qualitatively and quantitatively. Our code and dataset are available at https://yuenfuilau.github.io.
updated: Tue Aug 30 2022 17:53:17 GMT+0000 (UTC)
published: Tue Aug 30 2022 17:53:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト