arXiv reaDer
Geometry-constrained Car Recognition Using a 3D Perspective Network
 単一のRGB画像からの車両認識のための新しい学習フレームワークを提示します。アテンションメカニズムのみを使用して2D識別情報を特定する既存の方法とは異なり、私たちの仕事は車両の新しい3D遠近法特徴表現を学習し、2D外観特徴と融合してカテゴリを予測します。このフレームワークは、グローバルネットワーク(GN)、3Dパースペクティブネットワーク(3DPN)、およびフュージョンネットワークで構成されています。 GNを使用して関心領域(RoI)を特定し、2Dグローバルフィーチャを生成します。 RoIの支援により、3DPNは提案された消失点損失のガイダンスの下で3Dバウンディングボックスを推定します。これにより、遠近法のジオメトリ制約が提供されます。次に、透視変換を使用して3Dバウンディングボックスの視点分散を除去することにより、提案された3D表現が生成されます。最後に、3Dと2Dの機能を融合して、車両のカテゴリを予測します。 BoxCarsデータセットの車両分類および検証タスクに関する定性的および定量的結果を提示します。結果は、このような簡潔な3D表現を学習することにより、3D CADモデルを必要とすることなく3Dの意味のある情報を保持しながら、2D情報のみを使用する方法よりも優れたパフォーマンスを実現できることを示しています。
We present a novel learning framework for vehicle recognition from a single RGB image. Unlike existing methods which only use attention mechanisms to locate 2D discriminative information, our work learns a novel 3D perspective feature representation of a vehicle, which is then fused with 2D appearance feature to predict the category. The framework is composed of a global network (GN), a 3D perspective network (3DPN), and a fusion network. The GN is used to locate the region of interest (RoI) and generate the 2D global feature. With the assistance of the RoI, the 3DPN estimates the 3D bounding box under the guidance of the proposed vanishing point loss, which provides a perspective geometry constraint. Then the proposed 3D representation is generated by eliminating the viewpoint variance of the 3D bounding box using perspective transformation. Finally, the 3D and 2D feature are fused to predict the category of the vehicle. We present qualitative and quantitative results on the vehicle classification and verification tasks in the BoxCars dataset. The results demonstrate that, by learning such a concise 3D representation, we can achieve superior performance to methods that only use 2D information while retain 3D meaningful information without the challenge of requiring a 3D CAD model.
updated: Mon Nov 18 2019 00:16:24 GMT+0000 (UTC)
published: Tue Mar 19 2019 10:17:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト