arXiv reaDer
畳み込みニューラル不透明放射輝度フィールド
Convolutional Neural Opacity Radiance Fields
複雑な不透明度を持つファジーオブジェクトのフォトリアリスティックなモデリングとレンダリングは、多くの没入型VR / ARアプリケーションにとって重要ですが、ビューに依存する強い明るさ、色に悩まされています。本論文では、ファジーオブジェクトの畳み込みニューラルレンダラーを使用して不透明度放射輝度フィールドを生成する新しいスキームを提案します。これは、明示的な不透明度監視と畳み込みメカニズムの両方をニューラル放射輝度フィールドフレームワークに組み合わせて高品質の外観を可能にする最初のスキームです。任意の新しいビューでのグローバルな一貫性のあるアルファマット生成。より具体的には、カメラ光線と画像平面の両方とともに効率的なサンプリング戦略を提案します。これにより、パッチごとの方法で効率的な放射輝度フィールドのサンプリングと学習が可能になり、パッチごとのハイブリッド機能を生成する新しいボリューム機能統合スキームが可能になります。ビューの一貫性のある詳細な外観と不透明度の出力を再構築するための埋め込み。さらに、パッチごとの敵対的トレーニングスキームを採用して、自己監視フレームワークで高頻度の外観と不透明度の詳細の両方を保持します。また、ファジーオブジェクトに挑戦するための高品質のカラーマップとアルファマップをキャプチャするための効果的なマルチビュー画像キャプチャシステムを紹介します。既存および新しい挑戦的なファジーオブジェクトデータセットに関する広範な実験は、私たちの方法が、さまざまなファジーオブジェクトに対して、フォトリアリスティックで、グローバルに一貫性があり、詳細な外観と不透明度のない視点レンダリングを実現することを示しています。
Photo-realistic modeling and rendering of fuzzy objects with complex opacity are critical for numerous immersive VR/AR applications, but it suffers from strong view-dependent brightness, color. In this paper, we propose a novel scheme to generate opacity radiance fields with a convolutional neural renderer for fuzzy objects, which is the first to combine both explicit opacity supervision and convolutional mechanism into the neural radiance field framework so as to enable high-quality appearance and global consistent alpha mattes generation in arbitrary novel views. More specifically, we propose an efficient sampling strategy along with both the camera rays and image plane, which enables efficient radiance field sampling and learning in a patch-wise manner, as well as a novel volumetric feature integration scheme that generates per-patch hybrid feature embeddings to reconstruct the view-consistent fine-detailed appearance and opacity output. We further adopt a patch-wise adversarial training scheme to preserve both high-frequency appearance and opacity details in a self-supervised framework. We also introduce an effective multi-view image capture system to capture high-quality color and alpha maps for challenging fuzzy objects. Extensive experiments on existing and our new challenging fuzzy object dataset demonstrate that our method achieves photo-realistic, globally consistent, and fined detailed appearance and opacity free-viewpoint rendering for various fuzzy objects.
updated: Mon Apr 05 2021 04:46:46 GMT+0000 (UTC)
published: Mon Apr 05 2021 04:46:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト