arXiv reaDer
HashSDF: Permutohedral ラティス上の高速ローカル機能を備えた正確な陰曲面
HashSDF: Accurate Implicit Surfaces with Fast Local Features on Permutohedral Lattices
ニューラル放射密度フィールド法は、新規ビュー レンダリングのタスクでますます一般的になっています。ハッシュベースの位置エンコーディングへの最近の拡張により、最先端の結果による高速なトレーニングと推論が保証されます。ただし、密度ベースの方法では、正確なサーフェス ジオメトリを復元するのに苦労します。ハイブリッド メソッドは、基盤となる SDF に基づいて密度を最適化することで、この問題を軽減します。ただし、現在の SDF メソッドは過度に滑らかで、細かい幾何学的詳細を見逃しています。この作業では、これら 2 つの作業ラインの長所を組み合わせて、新しいハッシュベースの暗黙的な表面表現を作成します。ボクセル ハッシュ エンコーディングを、3 次元以上で高速に最適化する permutohedral ラティスに置き換えることにより、2 つの領域の改善を提案します。さらに、高周波の幾何学的詳細を回復するために重要な正則化スキームを提案します。複数のデータセットでこの方法を評価し、監視に RGB 画像のみを使用しながら、毛穴やしわのレベルで幾何学的詳細を復元できることを示します。さらに、球体トレーシングを使用して、RTX 3090 で 30 fps で斬新なビューをレンダリングできます。
Neural radiance-density field methods have become increasingly popular for the task of novel-view rendering. Their recent extension to hash-based positional encoding ensures fast training and inference with state-of-the-art results. However, density-based methods struggle with recovering accurate surface geometry. Hybrid methods alleviate this issue by optimizing the density based on an underlying SDF. However, current SDF methods are overly smooth and miss fine geometric details. In this work, we combine the strengths of these two lines of work in a novel hash-based implicit surface representation. We propose improvements to the two areas by replacing the voxel hash encoding with a permutohedral lattice which optimizes faster in three and higher dimensions. We additionally propose a regularization scheme which is crucial for recovering high-frequency geometric detail. We evaluate our method on multiple datasets and show that we can recover geometric detail at the level of pores and wrinkles while using only RGB images for supervision. Furthermore, using sphere tracing we can render novel views at 30 fps on an RTX 3090.
updated: Tue Nov 22 2022 20:27:44 GMT+0000 (UTC)
published: Tue Nov 22 2022 20:27:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト