ポーズ画像からの 3D 再構成に関する最近の研究では、ディープ ニューラル ネットワークを使用して、テスト時の最適化を行わずにシーンレベルの 3D ジオメトリを直接推論できることが実証され、顕著な有望性と高い効率性が示されています。ただし、再構成されたジオメトリは、通常 3D 切断符号付き距離関数 (TSDF) として表され、多くの場合、細かい幾何学的詳細がなく粗くなります。この問題に対処するために、推論ベースの 3D 再構成の忠実度を向上させるための 3 つの効果的なソリューションを提案します。まず、以前の研究で見られた TSDF 補間の落とし穴を回避しながら、トレーニング中にネットワークにより正確な学習信号を提供する、解像度に依存しない TSDF 監視戦略を提示します。次に、マルチビュー深度推定を使用した深度ガイダンス戦略を導入して、シーンの表現を強化し、より正確な表面を回復します。最後に、ネットワークの最終層用の新しいアーキテクチャを開発し、出力 TSDF 予測を粗いボクセルの特徴に加えて高解像度の画像の特徴に基づいて調整し、細部のより鮮明な再構築を可能にします。私たちの手法である FineRecon は、スムーズで高精度の再構成を生成し、複数の深度および 3D 再構成メトリックにわたって大幅な改善を示しています。
Recent works on 3D reconstruction from posed images have demonstrated that direct inference of scene-level 3D geometry without test-time optimization is feasible using deep neural networks, showing remarkable promise and high efficiency. However, the reconstructed geometry, typically represented as a 3D truncated signed distance function (TSDF), is often coarse without fine geometric details. To address this problem, we propose three effective solutions for improving the fidelity of inference-based 3D reconstructions. We first present a resolution-agnostic TSDF supervision strategy to provide the network with a more accurate learning signal during training, avoiding the pitfalls of TSDF interpolation seen in previous work. We then introduce a depth guidance strategy using multi-view depth estimates to enhance the scene representation and recover more accurate surfaces. Finally, we develop a novel architecture for the final layers of the network, conditioning the output TSDF prediction on high-resolution image features in addition to coarse voxel features, enabling sharper reconstruction of fine details. Our method, FineRecon, produces smooth and highly accurate reconstructions, showing significant improvements across multiple depth and 3D reconstruction metrics.