単眼 3D オブジェクトの検出は、自動運転、ロボットによる把持、拡張現実などの多くのアプリケーションにとって基本的ですが、非常に重要なタスクです。既存の主要な方法は、最初に入力画像の深度を推定し、点群に基づいて 3D オブジェクトを検出する傾向があります。このルーチンは、深度推定とオブジェクト検出の間に固有のギャップがあります。また、予測誤差の蓄積もパフォーマンスに影響します。この論文では、MonoPCNS という名前の新しい方法が提案されています。 MonoPCNS の導入の背後にある洞察は、トレーニング期間中に単眼検出器の点群ベースの検出器の機能学習動作をシミュレートすることを提案することです。したがって、推論期間中、学習された特徴と予測は、点群ベースの検出器に可能な限り似ています。それを達成するために、1 つのシーン レベルのシミュレーション モジュール、1 つの RoI レベルのシミュレーション モジュール、および 1 つの応答レベルのシミュレーション モジュールを提案します。これらは、検出器の全機能の学習および予測パイプラインに徐々に使用されます。有名な M3D-RPN 検出器と CaDDN 検出器にこの方法を適用し、KITTI と Waymo Open データセットで広範な実験を行います。結果は、私たちの方法が、ネットワークアーキテクチャを変更することなく、さまざまな単眼検出器のパフォーマンスを大きなマージンで一貫して改善することを示しています。私たちの方法は、最終的に最先端のパフォーマンスを実現します。
Monocular 3D object detection is a fundamental but very important task to many applications including autonomous driving, robotic grasping and augmented reality. Existing leading methods tend to estimate the depth of the input image first, and detect the 3D object based on point cloud. This routine suffers from the inherent gap between depth estimation and object detection. Besides, the prediction error accumulation would also affect the performance. In this paper, a novel method named MonoPCNS is proposed. The insight behind introducing MonoPCNS is that we propose to simulate the feature learning behavior of a point cloud based detector for monocular detector during the training period. Hence, during inference period, the learned features and prediction would be similar to the point cloud based detector as possible. To achieve it, we propose one scene-level simulation module, one RoI-level simulation module and one response-level simulation module, which are progressively used for the detector's full feature learning and prediction pipeline. We apply our method to the famous M3D-RPN detector and CaDDN detector, conducting extensive experiments on KITTI and Waymo Open dataset. Results show that our method consistently improves the performance of different monocular detectors for a large margin without changing their network architectures. Our method finally achieves state-of-the-art performance.