arXiv reaDer
DenseLiDAR:リアルタイムの疑似高密度深度ガイド深度完了ネットワーク
DenseLiDAR: A Real-Time Pseudo Dense Depth Guided Depth Completion Network
Depth Completionは、まばらな入力から密な深さマップを生成し、環境のより完全な3D記述を提供できます。深層の完成が大きく進歩したにもかかわらず、入力の希薄さとグラウンドトゥルースの密度の低さが、この問題を依然として困難なものにしています。この作業では、新しいリアルタイム疑似深度ガイド深度補完ニューラルネットワークであるDenseLiDARを提案します。単純な形態学的操作から得られた高密度の疑似深度マップを利用して、次の3つの側面でネットワークをガイドします。(1)出力の残差構造を構築する。 (2)スパース入力データの修正。 (3)ネットワークをトレーニングするための高密度の構造的損失を提供します。これらの斬新なデザインのおかげで、出力のより高いパフォーマンスを達成することができました。さらに、予測された深度マップの品質をより適切に評価するための2つの新しいメトリックも提示されます。 KITTI深度完了ベンチマークに関する広範な実験は、私たちのモデルが50Hzの最高フレームレートで最先端のパフォーマンスを達成できることを示唆しています。予測された密な深さは、いくつかの下流のロボット知覚または測位タスクによってさらに評価されます。 3Dオブジェクト検出のタスクでは、KITTI 3Dオブジェクト検出データセットで、小さなオブジェクトカテゴリで3〜5%のパフォーマンス向上が達成されます。 RGB-D SLAMの場合、KITTI Odometryデータセットでは、車両の軌道の精度も高くなります。これらの有望な結果は、深度予測の高品質を検証するだけでなく、深度完了結果を使用することにより、関連するダウンストリームタスクを改善する可能性を示しています。
Depth Completion can produce a dense depth map from a sparse input and provide a more complete 3D description of the environment. Despite great progress made in depth completion, the sparsity of the input and low density of the ground truth still make this problem challenging. In this work, we propose DenseLiDAR, a novel real-time pseudo-depth guided depth completion neural network. We exploit dense pseudo-depth map obtained from simple morphological operations to guide the network in three aspects: (1) Constructing a residual structure for the output; (2) Rectifying the sparse input data; (3) Providing dense structural loss for training the network. Thanks to these novel designs, higher performance of the output could be achieved. In addition, two new metrics for better evaluating the quality of the predicted depth map are also presented. Extensive experiments on KITTI depth completion benchmark suggest that our model is able to achieve the state-of-the-art performance at the highest frame rate of 50Hz. The predicted dense depth is further evaluated by several downstream robotic perception or positioning tasks. For the task of 3D object detection, 3~5 percent performance gains on small objects categories are achieved on KITTI 3D object detection dataset. For RGB-D SLAM, higher accuracy on vehicle's trajectory is also obtained in KITTI Odometry dataset. These promising results not only verify the high quality of our depth prediction, but also demonstrate the potential of improving the related downstream tasks by using depth completion results.
updated: Sat Aug 28 2021 14:18:29 GMT+0000 (UTC)
published: Sat Aug 28 2021 14:18:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト