arXiv reaDer
FastMESH: 六角形メッシュベースのニューラル レンダリングによる高速表面再構成
FastMESH: Fast Surface Reconstruction by Hexagonal Mesh-based Neural Rendering
マルチビュー再構成の有望な結果にもかかわらず、インプリシット サーフェス レンダリング (IDR) やボリューム レンダリング (NeuS) などの最近のニューラル レンダリング ベースの手法は、トレーニングに大きな計算負荷がかかるだけでなく、データのもつれを解くのが困難です。幾何学模様と外観。陽的ボクセルベースの方法は、暗黙的表現やハッシュコーディングよりも速いトレーニング速度を達成していますが、表面の回復では劣った結果が得られます。これらの課題に対処するために、レイとメッシュの交差点のみをサンプリングする、FastMESH と呼ばれる効果的なメッシュベースのニューラル レンダリング アプローチを提案します。空間彫刻によって初期メッシュを効率的に抽出するために、粗いものから細かいものへのスキームが導入されています。さらに重要なことは、頂点の二次導関数を制約することで表面の規則性を維持する六角形メッシュ モデルを提案することです。このモデルでは、ニューラル レンダリングには低レベルの位置エンコーディングのみが使用されます。実験は、私たちのアプローチが再構成と新しいビューの合成の両方において最先端の結果を達成することを示しています。さらに、暗黙的表現ベースの方法と比較して、トレーニングで 10 倍の高速化が得られます。
Despite the promising results of multi-view reconstruction, the recent neural rendering-based methods, such as implicit surface rendering (IDR) and volume rendering (NeuS), not only incur a heavy computational burden on training but also have the difficulties in disentangling the geometric and appearance. Although having achieved faster training speed than implicit representation and hash coding, the explicit voxel-based method obtains the inferior results on recovering surface. To address these challenges, we propose an effective mesh-based neural rendering approach, named FastMESH, which only samples at the intersection of ray and mesh. A coarse-to-fine scheme is introduced to efficiently extract the initial mesh by space carving. More importantly, we suggest a hexagonal mesh model to preserve surface regularity by constraining the second-order derivatives of vertices, where only low level of positional encoding is engaged for neural rendering. The experiments demonstrate that our approach achieves the state-of-the-art results on both reconstruction and novel view synthesis. Besides, we obtain 10-fold acceleration on training comparing to the implicit representation-based methods.
updated: Mon May 29 2023 02:43:14 GMT+0000 (UTC)
published: Mon May 29 2023 02:43:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト