我々は、一般化可能な神経放射輝度フィールド MonoNeRF を提案します。これは、深度やカメラのポーズに関するグラウンドトゥルースの注釈なしで、静的シーンで移動する大規模な単眼ビデオでトレーニングできます。 MonoNeRF はオートエンコーダ ベースのアーキテクチャに従い、エンコーダが単眼の深度とカメラのポーズを推定し、デコーダが深度エンコーダ機能に基づいてマルチプレーン NeRF 表現を構築し、推定されたカメラで入力フレームをレンダリングします。学習は再構成誤差によって監視されます。モデルを学習すると、深度推定、カメラ姿勢推定、単一画像の新規ビュー合成などの複数のアプリケーションに適用できます。より定性的な結果は、https://oasisyang.github.io/mononerf で入手できます。
We propose a generalizable neural radiance fields - MonoNeRF, that can be trained on large-scale monocular videos of moving in static scenes without any ground-truth annotations of depth and camera poses. MonoNeRF follows an Autoencoder-based architecture, where the encoder estimates the monocular depth and the camera pose, and the decoder constructs a Multiplane NeRF representation based on the depth encoder feature, and renders the input frames with the estimated camera. The learning is supervised by the reconstruction error. Once the model is learned, it can be applied to multiple applications including depth estimation, camera pose estimation, and single-image novel view synthesis. More qualitative results are available at: https://oasisyang.github.io/mononerf .