深度センシングは、無人航空機や自動運転車にとって重要な機能です。単眼カメラはサイズが小さく構造が単純であるため、単一の RGB 画像からの深度推定への関心が高まっています。ただし、かなり複雑なディープ ニューラル ネットワークを使用した最先端の単眼 CNN ベースの深度推定方法は、組み込みプラットフォームでのリアルタイム推論には遅すぎます。この論文では、組み込みシステムにおけるリアルタイムの深度推定の問題について取り上げます。私たちは、計算の複雑さと遅延を軽減するために、2 つの効率的で軽量なエンコーダー/デコーダー ネットワーク アーキテクチャ、RT-MonoDepth と RT-MonoDepth-S を提案します。私たちの方法論は、より速い推論速度で深度推定に関する従来の最先端の研究と同様の精度を達成できることを実証しています。私たちが提案するネットワーク、RT-MonoDepth および RT-MonoDepth-S は、解像度 640 × 192 の単一の RGB イメージ上で、NVIDIA Jetson Nano では 18.4\&30.5 FPS、NVIDIA Jetson AGX Orin では 253.0\&364.1 FPS で動作します。 KITTI データセットで相対的に最先端の精度を達成します。著者の知る限り、この論文は既存の高速単眼深度推定方法と比較して最高の精度と最速の推論速度を達成しています。
Depth sensing is a crucial function of unmanned aerial vehicles and autonomous vehicles. Due to the small size and simple structure of monocular cameras, there has been a growing interest in depth estimation from a single RGB image. However, state-of-the-art monocular CNN-based depth estimation methods using fairly complex deep neural networks are too slow for real-time inference on embedded platforms. This paper addresses the problem of real-time depth estimation on embedded systems. We propose two efficient and lightweight encoder-decoder network architectures, RT-MonoDepth and RT-MonoDepth-S, to reduce computational complexity and latency. Our methodologies demonstrate that it is possible to achieve similar accuracy as prior state-of-the-art works on depth estimation at a faster inference speed. Our proposed networks, RT-MonoDepth and RT-MonoDepth-S, runs at 18.4\&30.5 FPS on NVIDIA Jetson Nano and 253.0\&364.1 FPS on NVIDIA Jetson AGX Orin on a single RGB image of resolution 640×192, and achieve relative state-of-the-art accuracy on the KITTI dataset. To the best of the authors' knowledge, this paper achieves the best accuracy and fastest inference speed compared with existing fast monocular depth estimation methods.