arXiv reaDer
堅牢な単眼深度推定に向けて:ゼロショットのクロスデータセット転送のためのデータセットの混合
Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer
 単眼深度推定の成功は、大規模で多様なトレーニングセットに依存しています。大規模なさまざまな環境で高密度の地上真実の深さを取得することに関連する課題により、異なる特性とバイアスを持つ多くのデータセットが出現しました。注釈に互換性がない場合でも、トレーニング中に複数のデータセットを混合できるツールを開発します。特に、深度範囲とスケールの変化に不変の堅牢なトレーニング目標を提案し、異なるソースからのデータを結合するための原則的な多目的学習の使用を提唱し、補助タスクの事前トレーニングエンコーダーの重要性を強調します。これらのツールを使用して、新しい大規模なデータソースである3Dフィルムを含む5つの多様なトレーニングデータセットを試します。アプローチの一般化力を示すために、ゼロショットのクロスデータセット転送}を使用します。つまり、トレーニング中に見られなかったデータセットを評価します。実験により、補完的なソースからのデータを混合すると、単眼深度推定が大幅に改善されることが確認されます。私たちのアプローチは、明らかに、さまざまなデータセット間で競合する方法よりも優れており、単眼深度推定の最新技術を確立しています。一部の結果は、https://youtu.be/D46FzVyL9I8の補足ビデオに示されています。
The success of monocular depth estimation relies on large and diverse training sets. Due to the challenges associated with acquiring dense ground-truth depth across different environments at scale, a number of datasets with distinct characteristics and biases have emerged. We develop tools that enable mixing multiple datasets during training, even if their annotations are incompatible. In particular, we propose a robust training objective that is invariant to changes in depth range and scale, advocate the use of principled multi-objective learning to combine data from different sources, and highlight the importance of pretraining encoders on auxiliary tasks. Armed with these tools, we experiment with five diverse training datasets, including a new, massive data source: 3D films. To demonstrate the generalization power of our approach we use zero-shot cross-dataset transfer}, i.e. we evaluate on datasets that were not seen during training. The experiments confirm that mixing data from complementary sources greatly improves monocular depth estimation. Our approach clearly outperforms competing methods across diverse datasets, setting a new state of the art for monocular depth estimation. Some results are shown in the supplementary video at https://youtu.be/D46FzVyL9I8
updated: Tue Aug 25 2020 09:37:24 GMT+0000 (UTC)
published: Tue Jul 02 2019 13:16:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト