ジオメトリと外観情報の新しいハイブリッドシーン表現であるDeepSurfelsを紹介します。 DeepSurfelsは、明示的なビルディングブロックとニューラルビルディングブロックを組み合わせて、ジオメトリと外観の情報を共同でエンコードします。確立された表現とは対照的に、DeepSurfelsは高周波テクスチャをより適切に表現し、外観情報のオンライン更新に最適であり、機械学習手法と簡単に組み合わせることができます。さらに、RGB画像によって提供された情報を提案されたシーン表現に融合し、入力画像に関する再投影エラーによって課される自己監視を使用して訓練される、エンドツーエンドのトレーニング可能なオンライン外観融合パイプラインを提示します。私たちの方法は、古典的なテクスチャマッピングアプローチや最近提案された学習ベースの手法と比べて遜色ありません。さらに、既存の方法と比較して、実行時間が短く、一般化機能が向上し、より大きなシーンへのスケーラビリティが向上していることを示しています。
We present DeepSurfels, a novel hybrid scene representation for geometry and appearance information. DeepSurfels combines explicit and neural building blocks to jointly encode geometry and appearance information. In contrast to established representations, DeepSurfels better represents high-frequency textures, is well-suited for online updates of appearance information, and can be easily combined with machine learning methods. We further present an end-to-end trainable online appearance fusion pipeline that fuses information provided by RGB images into the proposed scene representation and is trained using self-supervision imposed by the reprojection error with respect to the input images. Our method compares favorably to classical texture mapping approaches as well as recently proposed learning-based techniques. Moreover, we demonstrate lower runtime, improved generalization capabilities, and better scalability to larger scenes compared to existing methods.