カテゴリレベルの3Dオブジェクト検出と、野生のステレオRGB画像のペアに基づく暗黙的な形状推定のための最初の学習ベースのフレームワークを紹介します。従来のステレオ3Dオブジェクト検出アプローチは、検出されたオブジェクトを3Dバウンディングボックスでのみ記述し、それらの全面的なジオメトリを推測できないため、現実的な屋外の没入型体験を作成することは困難です。対照的に、正確なローカリゼーションを実行できるだけでなく、検出されたオブジェクトの完全で解像度にとらわれない形状記述を提供できる新しいモデルS-3D-RCNNを提案します。まず、グローバルローカルフレームワークを使用して、オブジェクト座標系の推定を形状再構築から切り離します。次に、ステレオの関心領域からポイントベースの表現を抽出することで、目に見えない表面の幻覚の問題に対処し、予測された完全な表面ジオメトリを使用して暗黙の形状コードを推測する、新しいインスタンスレベルのネットワークを提案します。広範な実験により、KITTIベンチマークの既存および新規のメトリックを使用して、アプローチの優れたパフォーマンスが検証されます。コードと事前トレーニング済みモデルは、このhttpsURLで入手できます。
We present the first learning-based framework for category-level 3D object detection and implicit shape estimation based on a pair of stereo RGB images in the wild. Traditional stereo 3D object detection approaches describe the detected objects only with 3D bounding boxes and cannot infer their full surface geometry, which makes creating a realistic outdoor immersive experience difficult. In contrast, we propose a new model S-3D-RCNN that can perform precise localization as well as provide a complete and resolution-agnostic shape description for the detected objects. We first decouple the estimation of object coordinate systems from shape reconstruction using a global-local framework. We then propose a new instance-level network that addresses the unseen surface hallucination problem by extracting point-based representations from stereo region-of-interests, and infers implicit shape codes with predicted complete surface geometry. Extensive experiments validate our approach's superior performance using existing and new metrics on the KITTI benchmark. Code and pre-trained models will be available at this https URL.