単一のRGB画像から自己中心的な3D車両ポーズを回復するための新しい学習ベースのアプローチを提示します。局所的な外観から3D角度に直接マッピングする以前の作品とは対照的に、3Dポーズ推定のために意味のある中間幾何学的表現(IGR)を抽出することにより、プログレッシブアプローチを検討します。知覚された強度をIGRに変換するディープモデルを設計します。IGRは、カメラ座標系でオブジェクト指向をエンコードする3D表現にマッピングされます。目標を達成するには、使用するIGRと、それらをより効果的に学習する方法を指定する必要があります。前者の質問に答えるには、プリミティブ3Dアノテーションから簡単に派生する補間された直方体表現を設計します。後者の質問は、射影不変量に基づいて新しい損失関数を設計することにより、幾何学の知識を組み込むように私たちを動機付けます。この損失関数を使用すると、表現学習を改善するために検証されたトレーニング段階でラベルなしデータを使用できます。私たちのシステムは、KITTIベンチマークでの共同車両検出およびポーズ推定のための以前の単眼RGBベースの方法よりも優れており、ステレオ方法と同等のパフォーマンスを実現します。コードと事前トレーニング済みモデルは、プロジェクトのWebサイトで入手できます。
We present a new learning-based approach to recover egocentric 3D vehicle pose from a single RGB image. In contrast to previous works that directly map from local appearance to 3D angles, we explore a progressive approach by extracting meaningful Intermediate Geometrical Representations (IGRs) for 3D pose estimation. We design a deep model that transforms perceived intensities to IGRs, which are mapped to a 3D representation encoding object orientation in the camera coordinate system. To fulfill our goal, we need to specify what IGRs to use and how to learn them more effectively. We answer the former question by designing an interpolated cuboid representation that derives from primitive 3D annotation readily. The latter question motivates us to incorporate geometry knowledge by designing a new loss function based on a projective invariant. This loss function allows unlabeled data to be used in the training stage which is validated to improve representation learning. Our system outperforms previous monocular RGB-based methods for joint vehicle detection and pose estimation on the KITTI benchmark, achieving performance even comparable to stereo methods. Code and pre-trained models will be available at the project website.