arXiv reaDer
RefiNeRF: 一貫性のない、または欠落しているカメラ パラメーターを使用した動的神経放射輝度フィールドのモデル化
RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or missing camera parameters
ノベル ビュー合成 (NVS) は、限られた一連の入力画像からシーンの新しいビューを合成することを含む、コンピューター ビジョンにおける困難なタスクです。 Neural Radiance Fields (NeRF) は、この問題に対処するための強力なアプローチとして登場しましたが、カメラの内因性パラメーターと外因性パラメーターの正確な知識が必要です。従来、Structure from Motion (SfM) およびマルチビュー ステレオ (MVS) アプローチを使用してカメラ パラメーターを抽出してきましたが、これらの方法は信頼性が低く、場合によっては失敗する可能性があります。このホワイト ペーパーでは、NVIDIA 動的シーン データセットなどの動的データセットからポーズをとっていない画像を活用して、データから直接カメラ パラメーターを学習する新しい手法を提案します。私たちのアプローチは拡張性が高く、最小限の変更で既存の NeRF アーキテクチャに統合できます。さまざまな静的および動的シーンでの方法の有効性を実証し、従来の SfM および MVS アプローチよりも優れていることを示します。メソッドのコードは、https://github.com/redacted/refinerfhttps://github.com/redacted/refinerf で公開されています。私たちのアプローチは、NeRF を使用して NVS の精度と堅牢性を向上させるための有望な新しい方向性を提供し、コンピューター ビジョンとグラフィックスの幅広いアプリケーションにとって価値のあるツールになると期待しています。
Novel view synthesis (NVS) is a challenging task in computer vision that involves synthesizing new views of a scene from a limited set of input images. Neural Radiance Fields (NeRF) have emerged as a powerful approach to address this problem, but they require accurate knowledge of camera intrinsic and extrinsic parameters. Traditionally, structure-from-motion (SfM) and multi-view stereo (MVS) approaches have been used to extract camera parameters, but these methods can be unreliable and may fail in certain cases. In this paper, we propose a novel technique that leverages unposed images from dynamic datasets, such as the NVIDIA dynamic scenes dataset, to learn camera parameters directly from data. Our approach is highly extensible and can be integrated into existing NeRF architectures with minimal modifications. We demonstrate the effectiveness of our method on a variety of static and dynamic scenes and show that it outperforms traditional SfM and MVS approaches. The code for our method is publicly available at https://github.com/redacted/refinerfhttps://github.com/redacted/refinerf. Our approach offers a promising new direction for improving the accuracy and robustness of NVS using NeRF, and we anticipate that it will be a valuable tool for a wide range of applications in computer vision and graphics.
updated: Wed Mar 15 2023 15:27:18 GMT+0000 (UTC)
published: Wed Mar 15 2023 15:27:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト