3Dオブジェクト検出は、運転支援システムなどのさまざまな実用的なアプリケーションで必要とされる重要な機能です。単眼3D検出は、画像ベースのアプローチの代表的な一般的な設定として、LiDARに依存する従来の設定よりも経済的なソリューションを提供しますが、それでも満足のいく結果は得られません。この論文では、最初にこの問題に関する体系的な研究を紹介します。現在の単眼3D検出は、インスタンス深度推定の問題として単純化できることがわかります。インスタンス深度が不正確であると、他のすべての3D属性予測が全体的な検出パフォーマンスを向上させるのを妨げます。さらに、最近の方法では、異なるオブジェクト間の幾何学的関係を無視しながら、孤立したインスタンスまたはピクセルに基づいて深度を直接推定します。この目的のために、予測されたオブジェクト全体の幾何学的関係グラフを作成し、そのグラフを使用して深度推定を容易にします。この不適切な設定では、各インスタンスの予備的な深度推定は通常不正確であるため、不確実性をキャプチャするために確率的表現を組み込みます。これは、信頼できる予測を識別し、深度の伝播をさらにガイドするための重要な指標を提供します。基本的な考え方は単純ですが、私たちの方法であるPGDは、KITTIおよびnuScenesベンチマークを大幅に改善し、リアルタイムの効率を維持しながら、すべての単眼視覚のみの方法の中で1位を達成しています。コードとモデルはhttps://github.com/open-mmlab/mmdetection3dでリリースされます。
3D object detection is an important capability needed in various practical applications such as driver assistance systems. Monocular 3D detection, as a representative general setting among image-based approaches, provides a more economical solution than conventional settings relying on LiDARs but still yields unsatisfactory results. This paper first presents a systematic study on this problem. We observe that the current monocular 3D detection can be simplified as an instance depth estimation problem: The inaccurate instance depth blocks all the other 3D attribute predictions from improving the overall detection performance. Moreover, recent methods directly estimate the depth based on isolated instances or pixels while ignoring the geometric relations across different objects. To this end, we construct geometric relation graphs across predicted objects and use the graph to facilitate depth estimation. As the preliminary depth estimation of each instance is usually inaccurate in this ill-posed setting, we incorporate a probabilistic representation to capture the uncertainty. It provides an important indicator to identify confident predictions and further guide the depth propagation. Despite the simplicity of the basic idea, our method, PGD, obtains significant improvements on KITTI and nuScenes benchmarks, achieving 1st place out of all monocular vision-only methods while still maintaining real-time efficiency. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.