arXiv reaDer
D-NeRF:動的シーンのニューラル放射輝度フィールド
D-NeRF: Neural Radiance Fields for Dynamic Scenes
機械学習と幾何学的推論を組み合わせたニューラルレンダリング技術は、まばらな画像セットからシーンの新しいビューを合成するための最も有望なアプローチの1つとして生まれました。これらの中で、5D入力座標(空間位置と視線方向を表す)をボリューム密度とビューに依存する放射輝度にマッピングするために深いネットワークをトレーニングするニューラル放射輝度フィールド(NeRF)が際立っています。ただし、生成された画像で前例のないレベルのフォトリアリズムを実現したにもかかわらず、NeRFは静的なシーンにのみ適用可能であり、同じ空間位置を異なる画像から照会できます。この論文では、D-NeRFを紹介します。これは、神経放射輝度フィールドを動的ドメインに拡張し、シーン内を移動する単一のカメラから、剛体および非剛体の動きの下でオブジェクトの新しい画像を再構築およびレンダリングできるようにします。この目的のために、時間をシステムへの追加入力と見なし、学習プロセスを2つの主要な段階に分割します。1つはシーンを正規空間にエンコードし、もう1つはこの正規表現を特定の時間に変形したシーンにマッピングします。両方のマッピングは、完全に接続されたネットワークを使用して同時に学習されます。ネットワークがトレーニングされると、D-NeRFは新しい画像をレンダリングし、カメラビューと時間変数の両方を制御して、オブジェクトの動きを制御できます。リジッド、アーティキュレート、および非リジッドモーションの下にあるオブジェクトのあるシーンでのアプローチの有効性を示します。コード、モデルの重み、動的シーンのデータセットがリリースされます。
Neural rendering techniques combining machine learning with geometric reasoning have arisen as one of the most promising approaches for synthesizing novel views of a scene from a sparse set of images. Among these, stands out the Neural radiance fields (NeRF), which trains a deep network to map 5D input coordinates (representing spatial location and viewing direction) into a volume density and view-dependent emitted radiance. However, despite achieving an unprecedented level of photorealism on the generated images, NeRF is only applicable to static scenes, where the same spatial location can be queried from different images. In this paper we introduce D-NeRF, a method that extends neural radiance fields to a dynamic domain, allowing to reconstruct and render novel images of objects under rigid and non-rigid motions from a single camera moving around the scene. For this purpose we consider time as an additional input to the system, and split the learning process in two main stages: one that encodes the scene into a canonical space and another that maps this canonical representation into the deformed scene at a particular time. Both mappings are simultaneously learned using fully-connected networks. Once the networks are trained, D-NeRF can render novel images, controlling both the camera view and the time variable, and thus, the object movement. We demonstrate the effectiveness of our approach on scenes with objects under rigid, articulated and non-rigid motions. Code, model weights and the dynamic scenes dataset will be released.
updated: Fri Nov 27 2020 19:06:50 GMT+0000 (UTC)
published: Fri Nov 27 2020 19:06:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト