単一のRGB画像からSO(3)の車両ポーズを回復するための新しい学習ベースのフレームワークを提示します。局所的な外観から観察角度にマッピングする以前の作品とは対照的に、自己中心的な車両の向きを推定するために意味のある中間幾何学的表現(IGR)を抽出することにより、進歩的なアプローチを模索します。このアプローチは、知覚された強度をIGRに変換するディープモデルを特徴としています。IGRは、カメラ座標系でオブジェクト指向をエンコードする3D表現にマッピングされます。主要な問題は、IGRが使用するものと、それらをより効果的に学習する方法です。前者の質問に答えるには、プリミティブ3Dアノテーションから簡単に派生する補間された直方体に基づいてIGRを設計します。後者の質問は、幾何学の知識を射影不変量に基づく新しい損失関数に組み込む動機になります。この損失関数を使用すると、ラベルのないデータをトレーニング段階で使用して、表現学習を向上させることができます。追加のラベルがない場合、当社のシステムは、KITTIベンチマークでの共同車両検出およびポーズ推定のための以前の単眼RGBベースの方法よりも優れており、ステレオ方法と同等のパフォーマンスを実現します。コードと事前トレーニング済みモデルは、このhttpsURLで入手できます。
We present a new learning-based framework to recover vehicle pose in SO(3) from a single RGB image. In contrast to previous works that map from local appearance to observation angles, we explore a progressive approach by extracting meaningful Intermediate Geometrical Representations (IGRs) to estimate egocentric vehicle orientation. This approach features a deep model that transforms perceived intensities to IGRs, which are mapped to a 3D representation encoding object orientation in the camera coordinate system. Core problems are what IGRs to use and how to learn them more effectively. We answer the former question by designing IGRs based on an interpolated cuboid that derives from primitive 3D annotation readily. The latter question motivates us to incorporate geometry knowledge with a new loss function based on a projective invariant. This loss function allows unlabeled data to be used in the training stage to improve representation learning. Without additional labels, our system outperforms previous monocular RGB-based methods for joint vehicle detection and pose estimation on the KITTI benchmark, achieving performance even comparable to stereo methods. Code and pre-trained models are available at this https URL.