深度推定の高度なパフォーマンスは、大規模で複雑なニューラルネットワークの採用によって実現されます。パフォーマンスはまだ継続的に改善されていますが、実際のアプリケーションの予備的な要件であるため、深度推定も効率的である必要があると主張します。ただし、モデルの容量と精度の間のトレードオフとして、高速深度推定はパフォーマンスを低下させる傾向があります。本論文では、軽量ネットワークで正確な深度推定を実現することを目指しています。そのために、まず、深度マップをリアルタイムで推定できる非常にコンパクトなネットワークを紹介します。次に、パフォーマンスをさらに向上させるための知識蒸留パラダイムを開発します。多くのシナリオが実世界で同じシーンスケールを持ち、同様の深度ヒストグラムを生成することを観察します。したがって、それらは潜在的に価値があり、より良い学習戦略を開発するために適用できます。したがって、知識の蒸留を改善するために、補助的なラベルなし/ラベル付きデータを使用することを提案します。広範囲にわたる厳密な実験を通じて、私たちの方法は、わずか1%のパラメーターで最先端の方法と同等のパフォーマンスを達成でき、推論の精度、計算効率、および一般化可能性の点で以前の軽量の方法よりも優れていることを示します。
The advanced performance of depth estimation is achieved by the employment of large and complex neural networks. While the performance is still being continuously improved, we argue that the depth estimation has to be efficient as well since it is a preliminary requirement for real-world applications. However, fast depth estimation tends to lower the performance as the trade-off between the model's capacity and accuracy. In this paper, we aim to achieve accurate depth estimation with a light-weight network. To this end, we first introduce a highly compact network that can estimate a depth map in real-time. We then develop a knowledge distillation paradigm to further improve the performance. We observe that many scenarios have the same scene scales in real-world, yielding similar depth histograms, thus they are potentially valuable and applicable to develop a better learning strategy. Therefore, we propose to employ auxiliary unlabeled/labeled data to improve knowledge distillation. Through extensive and rigorous experiments, we show that our method can achieve comparable performance against state-of-the-of-art methods with only 1% parameters, and outperforms previous light-weight methods in terms of inference accuracy, computational efficiency and generalizability.