arXiv reaDer
自己教師あり単眼深度推定のためのオクルージョン認識の粗い深度マップの学習
Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
自己教師あり方法で単一の画像からシーン深度を学習することを目的とした自己教師あり単眼深度推定は、最近多くの注目を集めています。この分野での最近の取り組みにもかかわらず、正確なシーン深度を学習し、自己管理深度推定のためにオクルージョンの悪影響を軽減する方法は、まだ未解決の問題です。この問題に対処するために、まず、多くの既存の作品のトレーニングプロセスで広く使用されている連続および離散の深さ制約の両方の効果を経験的に分析します。次に、上記の経験的分析に触発されて、OCFD-Net と呼ばれる、自己教師あり単眼深度推定のためのオクルージョン対応の粗い深さから細かい深さへのマップを学習するための新しいネットワークを提案します。ステレオ画像ペアの任意のトレーニング セットが与えられた場合、提案された OCFD-Net は、粗いレベルの深度マップを学習するために離散深度制約を使用するだけでなく、シーンの深度残余を学習するために連続深度制約も使用します。 -レベル深度マップ。さらに、オクルージョン認識モジュールは、提案された OCFD-Net の下で設計されており、オクルージョンを処理するための学習された細かいレベルの深度マップの機能を向上させることができます。 KITTI の実験結果は、提案された方法が、ほとんどの場合、7 つの一般的に使用される測定基準の下で最先端の比較方法よりも優れていることを示しています。さらに、Make3D での実験結果は、一般的に使用される 4 つのメトリックの下でのクロスデータセットの一般化能力に関して、提案された方法の有効性を示しています。コードは https://github.com/ZM-Zhou/OCFD-Net_pytorch で入手できます。
Self-supervised monocular depth estimation, aiming to learn scene depths from single images in a self-supervised manner, has received much attention recently. In spite of recent efforts in this field, how to learn accurate scene depths and alleviate the negative influence of occlusions for self-supervised depth estimation, still remains an open problem. Addressing this problem, we firstly empirically analyze the effects of both the continuous and discrete depth constraints which are widely used in the training process of many existing works. Then inspired by the above empirical analysis, we propose a novel network to learn an Occlusion-aware Coarse-to-Fine Depth map for self-supervised monocular depth estimation, called OCFD-Net. Given an arbitrary training set of stereo image pairs, the proposed OCFD-Net does not only employ a discrete depth constraint for learning a coarse-level depth map, but also employ a continuous depth constraint for learning a scene depth residual, resulting in a fine-level depth map. In addition, an occlusion-aware module is designed under the proposed OCFD-Net, which is able to improve the capability of the learnt fine-level depth map for handling occlusions. Experimental results on KITTI demonstrate that the proposed method outperforms the comparative state-of-the-art methods under seven commonly used metrics in most cases. In addition, experimental results on Make3D demonstrate the effectiveness of the proposed method in terms of the cross-dataset generalization ability under four commonly used metrics. The code is available at https://github.com/ZM-Zhou/OCFD-Net_pytorch.
updated: Thu Sep 15 2022 06:46:13 GMT+0000 (UTC)
published: Mon Mar 21 2022 12:43:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト