arXiv reaDer
TMO: 微分可能レンダリングを使用したモバイル デバイスでのオブジェクトのテクスチャ メッシュ取得
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
画像、深度マップ、および有効なポーズへのアクセスを提供する単一のスマートフォンを使用して、実際にテクスチャ メッシュを取得するための新しいパイプラインを提示します。私たちの方法は、最初にモーションからRGBD支援構造を導入します。これにより、フィルタリングされた深度マップが生成され、対応する深度によって導かれるカメラポーズが洗練されます。次に、高品質のメッシュを可能にし、従来のマルチビュー ステレオ法によって提供される正則化を適用するための新しいトレーニング プロセスを開発するニューラル暗黙的表面再構成法を採用します。さらに、微分可能なレンダリングを適用して不完全なテクスチャ マップを微調整し、知覚的に元のシーンに近いテクスチャを生成します。私たちのパイプラインは、ラボ環境や正確なマスク画像を必要とせずに、現実世界の一般的なオブジェクトに適用できます。複雑な形状のキャプチャされたオブジェクトの結果を示し、既存の 3D 再構成およびテクスチャ マッピング手法に対して手法を数値的に検証します。
We present a new pipeline for acquiring a textured mesh in the wild with a single smartphone which offers access to images, depth maps, and valid poses. Our method first introduces an RGBD-aided structure from motion, which can yield filtered depth maps and refines camera poses guided by corresponding depth. Then, we adopt the neural implicit surface reconstruction method, which allows for high-quality mesh and develops a new training process for applying a regularization provided by classical multi-view stereo methods. Moreover, we apply a differentiable rendering to fine-tune incomplete texture maps and generate textures which are perceptually closer to the original scene. Our pipeline can be applied to any common objects in the real world without the need for either in-the-lab environments or accurate mask images. We demonstrate results of captured objects with complex shapes and validate our method numerically against existing 3D reconstruction and texture mapping methods.
updated: Mon Mar 27 2023 10:07:52 GMT+0000 (UTC)
published: Mon Mar 27 2023 10:07:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト