近年、ステレオカメラに基づく3D検出は大きな進歩を遂げましたが、ほとんどの最先端の方法では、アンカーベースの2D検出または深度推定を使用してこの問題を解決しています。ただし、計算コストが高いため、これらの方法でリアルタイムのパフォーマンスを実現することは困難です。この作業では、ステレオCenterNetと呼ばれるステレオ画像の幾何学的情報を使用した3Dオブジェクト検出方法を提案します。 Stereo CenterNetは、空間内のオブジェクトの3Dバウンディングボックスの4つのセマンティックキーポイントを予測し、2D左右ボックス、3D寸法、方向、およびキーポイントを使用して、3D空間内のオブジェクトのバウンディングボックスを復元します。次に、改良された測光アライメントモジュールを使用して、3Dバウンディングボックスの位置をさらに最適化します。 KITTIデータセットで実施された実験は、ステレオジオメトリに基づく最先端の方法と比較して、私たちの方法が最高の速度と精度のトレードオフを達成することを示しています。
In recent years, 3D detection based on stereo cameras has made great progress, but most state-of-the-art methods use anchor-based 2D detection or depth estimation to solve this problem. However, the high computational cost makes these methods difficult to meet real-time performance. In this work, we propose a 3D object detection method using geometric information in stereo images, called Stereo CenterNet. Stereo CenterNet predicts the four semantic key points of the 3D bounding box of the object in space and uses 2D left right boxes, 3D dimension, orientation and key points to restore the bounding box of the object in the 3D space. Then, we use an improved photometric alignment module to further optimize the position of the 3D bounding box. Experiments conducted on the KITTI dataset show that our method achieves the best speed-accuracy trade-off compared with the state-of-the-art methods based on stereo geometry.