arXiv reaDer
自己監視単眼深度推定のためのオクルージョンを意識した粗い深度マップの学習
Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
単一画像から自己監視方式でシーン深度を学習することを目的とした自己監視単眼深度推定は、最近大きな注目を集めています。この分野での最近の努力にもかかわらず、正確なシーン深度を学習し、自己監視深度推定のためのオクルージョンの悪影響を軽減する方法は、依然として未解決の問題です。この問題に対処するために、まず、多くの既存の作業のトレーニングプロセスで広く使用されている連続および離散深度制約の両方の影響を経験的に分析します。次に、上記の経験的分析に触発されて、OCFD-Netと呼ばれる、自己監視された単眼深度推定のためのオクルージョンを意識した粗い深度マップを学習するための新しいネットワークを提案します。ステレオ画像ペアの任意のトレーニングセットが与えられると、提案されたOCFD-Netは、粗いレベルの深度マップを学習するために離散深度制約を採用するだけでなく、シーン深度残差を学習するために連続深度制約を採用します。 -レベル深度マップ。さらに、オクルージョン認識モジュールは、提案されたOCFD-Netの下で設計されており、オクルージョンを処理するための学習された詳細レベルの深度マップの機能を向上させることができます。公開されているKITTIおよびMake3Dデータセットに関する広範な実験結果は、提案された方法がほとんどの場合、既存の20の最先端の方法よりも優れていることを示しています。
Self-supervised monocular depth estimation, aiming to learn scene depths from single images in a self-supervised manner, has received much attention recently. In spite of recent efforts in this field, how to learn accurate scene depths and alleviate the negative influence of occlusions for self-supervised depth estimation, still remains an open problem. Addressing this problem, we firstly empirically analyze the effects of both the continuous and discrete depth constraints which are widely used in the training process of many existing works. Then inspired by the above empirical analysis, we propose a novel network to learn an Occlusion-aware Coarse-to-Fine Depth map for self-supervised monocular depth estimation, called OCFD-Net. Given an arbitrary training set of stereo image pairs, the proposed OCFD-Net does not only employ a discrete depth constraint for learning a coarse-level depth map, but also employ a continuous depth constraint for learning a scene depth residual, resulting in a fine-level depth map. In addition, an occlusion-aware module is designed under the proposed OCFD-Net, which is able to improve the capability of the learnt fine-level depth map for handling occlusions. Extensive experimental results on the public KITTI and Make3D datasets demonstrate that the proposed method outperforms 20 existing state-of-the-art methods in most cases.
updated: Mon Mar 21 2022 12:43:42 GMT+0000 (UTC)
published: Mon Mar 21 2022 12:43:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト