arXiv reaDer
MonoNeRF: カメラ ポーズなしの単眼ビデオから一般化可能な NeRF を学習する
MonoNeRF: Learning Generalizable NeRFs from Monocular Videos without Camera Pose
我々は、一般化可能な神経放射輝度フィールド MonoNeRF を提案します。これは、深度やカメラのポーズに関するグラウンドトゥルースの注釈なしで、静的シーンで移動する大規模な単眼ビデオでトレーニングできます。 MonoNeRF はオートエンコーダ ベースのアーキテクチャに従い、エンコーダが単眼の深度とカメラのポーズを推定し、デコーダが深度エンコーダ機能に基づいてマルチプレーン NeRF 表現を構築し、推定されたカメラで入力フレームをレンダリングします。学習は再構成誤差によって監視されます。モデルを学習すると、深度推定、カメラ姿勢推定、単一画像の新規ビュー合成などの複数のアプリケーションに適用できます。より定性的な結果は、https://oasisyang.github.io/mononerf で入手できます。
We propose a generalizable neural radiance fields - MonoNeRF, that can be trained on large-scale monocular videos of moving in static scenes without any ground-truth annotations of depth and camera poses. MonoNeRF follows an Autoencoder-based architecture, where the encoder estimates the monocular depth and the camera pose, and the decoder constructs a Multiplane NeRF representation based on the depth encoder feature, and renders the input frames with the estimated camera. The learning is supervised by the reconstruction error. Once the model is learned, it can be applied to multiple applications including depth estimation, camera pose estimation, and single-image novel view synthesis. More qualitative results are available at: https://oasisyang.github.io/mononerf .
updated: Sun Jun 04 2023 07:17:39 GMT+0000 (UTC)
published: Thu Oct 13 2022 17:03:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト