arXiv reaDer
Learning Topology from Synthetic Data for Unsupervised Depth Completion
合成データを活用して疎な点群と密な自然な形状の関連付けを学習し、画像を証拠として使用して予測された深度マップを検証することにより、画像と疎な深度測定値から密な深度マップを推測する方法を示します。自然な形の学習済み事前は、画像ではなく疎な深さのみを入力として使用するため、合成データから実際のモデルに学習済みモデルを転送しようとするときに、この方法は共変量シフトの影響を受けません。これにより、グラウンド トゥルースを含む豊富な合成データを使用して、再構成プロセスの最も困難なコンポーネントであるトポロジ推定を学習し、画像を使用して測光証拠に基づいて予測を洗練することができます。私たちのアプローチは、以前の方法よりも少ないパラメーターを使用しますが、屋内と屋外の両方のベンチマーク データセットで最先端を達成します。コードは で入手できます。
We present a method for inferring dense depth maps from images and sparse depth measurements by leveraging synthetic data to learn the association of sparse point clouds with dense natural shapes, and using the image as evidence to validate the predicted depth map. Our learned prior for natural shapes uses only sparse depth as input, not images, so the method is not affected by the covariate shift when attempting to transfer learned models from synthetic data to real ones. This allows us to use abundant synthetic data with ground truth to learn the most difficult component of the reconstruction process, which is topology estimation, and use the image to refine the prediction based on photometric evidence. Our approach uses fewer parameters than previous methods, yet, achieves the state of the art on both indoor and outdoor benchmark datasets. Code available at:
updated: Sun Jul 04 2021 01:46:56 GMT+0000 (UTC)
published: Sun Jun 06 2021 00:21:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト