arXiv reaDer
Lifelong-MonoDepth: マルチドメイン単眼メトリクス深度推定のための生涯学習
Lifelong-MonoDepth: Lifelong Learning for Multi-Domain Monocular Metric Depth Estimation
自動運転やロボットナビゲーションの急速な進歩に伴い、メトリック(絶対)深度を推定できる生涯学習モデルの需要が高まっています。生涯学習アプローチは、モデルのトレーニング、データの保存、収集に関して大幅なコスト削減を実現する可能性があります。ただし、RGB イメージと深度マップの品質はセンサーに依存し、現実世界の深度マップはドメイン固有の特性を示し、深度範囲の変動につながります。これらの課題により、既存の手法は、小さな領域ギャップと相対的な深度マップ推定を伴う生涯学習シナリオに限定されます。生涯にわたるメトリクス深層学習を促進するために、注意が必要な 3 つの重要な技術的課題を特定します。i) スケールを意識した深層学習を通じて深度スケールの変動に対処できるモデルを開発すること、ii) 重大なドメイン ギャップに対処するための効果的な学習戦略を考案すること、そしてiii) 実際のアプリケーションにおけるドメイン認識深度推論のための自動ソリューションを作成する。前述の考察に基づいて、この論文では、i) 深度スケールの不均衡に効果的に取り組む軽量のマルチヘッド フレームワーク、ii) 重大なドメイン ギャップを適切に処理する不確実性を認識した生涯学習ソリューション、および iii) オンライン ドメインを紹介します。 -リアルタイム推論のための固有の予測子選択方法。広範な数値研究を通じて、提案された方法が優れた効率、安定性、可塑性を達成でき、ベンチマークを 8% ~ 15% リードできることを示しました。
With the rapid advancements in autonomous driving and robot navigation, there is a growing demand for lifelong learning models capable of estimating metric (absolute) depth. Lifelong learning approaches potentially offer significant cost savings in terms of model training, data storage, and collection. However, the quality of RGB images and depth maps is sensor-dependent, and depth maps in the real world exhibit domain-specific characteristics, leading to variations in depth ranges. These challenges limit existing methods to lifelong learning scenarios with small domain gaps and relative depth map estimation. To facilitate lifelong metric depth learning, we identify three crucial technical challenges that require attention: i) developing a model capable of addressing the depth scale variation through scale-aware depth learning, ii) devising an effective learning strategy to handle significant domain gaps, and iii) creating an automated solution for domain-aware depth inference in practical applications. Based on the aforementioned considerations, in this paper, we present i) a lightweight multi-head framework that effectively tackles the depth scale imbalance, ii) an uncertainty-aware lifelong learning solution that adeptly handles significant domain gaps, and iii) an online domain-specific predictor selection method for real-time inference. Through extensive numerical studies, we show that the proposed method can achieve good efficiency, stability, and plasticity, leading the benchmarks by 8% to 15%.
updated: Mon Aug 14 2023 07:50:52 GMT+0000 (UTC)
published: Thu Mar 09 2023 05:54:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト