arXiv reaDer
効率的なニューラルレンダリングのための体積プリミティブの混合
Mixture of Volumetric Primitives for Efficient Neural Rendering
人間のリアルタイムレンダリングとアニメーションは、ゲーム、映画、テレプレゼンスアプリケーションのコア機能です。既存の方法には、私たちが仕事で取り組むことを目指している多くの欠点があります。三角形メッシュは、髪のような薄い構造のモデリングが困難であり、Neural Volumesのようなボリューム表現は、妥当なメモリバジェットを考えると低解像度であり、Neural Radiance Fieldsのような高解像度の暗黙的表現は、リアルタイムアプリケーションで使用するには遅すぎます。体積表現の完全性とプリミティブベースのレンダリングの効率(ポイントベースまたはメッシュベースの方法など)を組み合わせた動的3Dコンテンツをレンダリングするための表現であるMixture of Volumetric Primitives(MVP)を紹介します。私たちのアプローチは、デコンボリューションアーキテクチャで空間共有計算を活用し、占有領域のみをカバーするように移動できるボリュームプリミティブを使用して、空間の空の領域での計算を最小化することでこれを実現します。私たちのパラメータ化は、対応と追跡の制約の統合をサポートしますが、薄いまたは半透明の構造の周りやトポロジの変動が大きい領域など、古典的な追跡が失敗する領域に対して堅牢です。 MVPは、ボリューム表現とプリミティブベースの表現の両方を一般化するハイブリッドです。一連の広範な実験を通じて、制限の多くを回避しながら、それぞれの長所を継承していることを示します。また、私たちのアプローチをいくつかの最先端の方法と比較し、MVPが品質と実行時のパフォーマンスの点で優れた結果を生み出すことを示しています。
Real-time rendering and animation of humans is a core function in games, movies, and telepresence applications. Existing methods have a number of drawbacks we aim to address with our work. Triangle meshes have difficulty modeling thin structures like hair, volumetric representations like Neural Volumes are too low-resolution given a reasonable memory budget, and high-resolution implicit representations like Neural Radiance Fields are too slow for use in real-time applications. We present Mixture of Volumetric Primitives (MVP), a representation for rendering dynamic 3D content that combines the completeness of volumetric representations with the efficiency of primitive-based rendering, e.g., point-based or mesh-based methods. Our approach achieves this by leveraging spatially shared computation with a deconvolutional architecture and by minimizing computation in empty regions of space with volumetric primitives that can move to cover only occupied regions. Our parameterization supports the integration of correspondence and tracking constraints, while being robust to areas where classical tracking fails, such as around thin or translucent structures and areas with large topological variability. MVP is a hybrid that generalizes both volumetric and primitive-based representations. Through a series of extensive experiments we demonstrate that it inherits the strengths of each, while avoiding many of their limitations. We also compare our approach to several state-of-the-art methods and demonstrate that MVP produces superior results in terms of quality and runtime performance.
updated: Tue Mar 02 2021 18:59:42 GMT+0000 (UTC)
published: Tue Mar 02 2021 18:59:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト