arXiv reaDer
Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion
 このホワイトペーパーでは、2つのデータソース間の相関を使用して疎な深さの補完を実行するエンドツーエンドの深層学習モデルであるCorrelation For Completion Network(CFCNet)を提案します。 CFCNetは、RGB情報と深度情報の間の意味的に相関する特徴を最大限にキャプチャすることを学習します。 CFCNetは、画像ピクセルのペアとスパースデプスマップの可視測定値により、異なるデータソースの機能レベルの相互変換を容易にします。このような変換により、CFCNetは対応する変換されたRGB特徴に従って特徴を予測し、欠落した深度測定のデータを再構築できます。正準相関分析を2Dドメインに拡張し、トレーニング目標の1つとして定式化します(つまり、2d深い正準相関、または「2D2CCA損失」)。大規模な実験により、CFCNetの能力と柔軟性が、実際のスパースパターンが異なる屋内シーンと屋外シーンの両方で最先端の方法と比較して検証されます。コードはで入手できます。
In this paper, we propose our Correlation For Completion Network (CFCNet), an end-to-end deep learning model that uses the correlation between two data sources to perform sparse depth completion. CFCNet learns to capture, to the largest extent, the semantically correlated features between RGB and depth information. Through pairs of image pixels and the visible measurements in a sparse depth map, CFCNet facilitates feature-level mutual transformation of different data sources. Such a transformation enables CFCNet to predict features and reconstruct data of missing depth measurements according to their corresponding, transformed RGB features. We extend canonical correlation analysis to a 2D domain and formulate it as one of our training objectives (i.e. 2d deep canonical correlation, or "2D2CCA loss"). Extensive experiments validate the ability and flexibility of our CFCNet compared to the state-of-the-art methods on both indoor and outdoor scenes with different real-life sparse patterns. Codes are available at:
updated: Sun Mar 15 2020 22:46:11 GMT+0000 (UTC)
published: Fri Jun 21 2019 06:18:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト