arXiv reaDer
教師なしマルチフレーム単眼深度のオブジェクトの動きとオクルージョンを解きほぐす
Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth
従来の自己監視単眼深度予測方法は、静的環境の仮定に基づいており、オブジェクトの動きによって引き起こされる不一致とオクルージョンの問題により、動的シーンの精度が低下します。既存の動的オブジェクトに焦点を当てた方法は、トレーニング損失レベルでの不一致の問題を部分的にしか解決しませんでした。したがって、本論文では、予測損失レベルと監視損失レベルの両方でこれらの問題を解決するための新しいマルチフレーム単眼深度予測方法を提案します。 DynamicDepthと呼ばれる私たちの方法は、自己教師ありサイクル一貫性学習スキームを介してトレーニングされた新しいフレームワークです。不一致の問題を解決するためにオブジェクトの動きを解きほぐすために、動的オブジェクトモーション解きほぐし(DOMD)モジュールが提案されています。さらに、新しいオクルージョンを意識したコストボリュームと再投影損失は、オブジェクトの動きのオクルージョン効果を軽減するように設計されています。 CityscapesおよびKITTIデータセットに関する広範な分析と実験は、特に動的オブジェクトの領域で、私たちの方法が最先端の単眼深度予測方法を大幅に上回っていることを示しています。コードはhttps://github.com/AutoAILab/DynamicDepthで入手できます
Conventional self-supervised monocular depth prediction methods are based on a static environment assumption, which leads to accuracy degradation in dynamic scenes due to the mismatch and occlusion problems introduced by object motions. Existing dynamic-object-focused methods only partially solved the mismatch problem at the training loss level. In this paper, we accordingly propose a novel multi-frame monocular depth prediction method to solve these problems at both the prediction and supervision loss levels. Our method, called DynamicDepth, is a new framework trained via a self-supervised cycle consistent learning scheme. A Dynamic Object Motion Disentanglement (DOMD) module is proposed to disentangle object motions to solve the mismatch problem. Moreover, novel occlusion-aware Cost Volume and Re-projection Loss are designed to alleviate the occlusion effects of object motions. Extensive analyses and experiments on the Cityscapes and KITTI datasets show that our method significantly outperforms the state-of-the-art monocular depth prediction methods, especially in the areas of dynamic objects. Code is available at https://github.com/AutoAILab/DynamicDepth
updated: Sat Jul 23 2022 03:51:45 GMT+0000 (UTC)
published: Tue Mar 29 2022 01:36:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト