arXiv reaDer
NeurOCS: 単眼 3D オブジェクト位置特定のためのニューラル NOCS 監視
NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization
運転シーンにおける単眼 3D オブジェクトの位置特定は重要なタスクですが、姿勢が正しくないため困難です。オブジェクト表面上の各ピクセルの 3D 座標を推定することは、基礎となる PnP 問題に対して高密度の 2D-3D 幾何学的制約を提供するため、大きな可能性を秘めています。ただし、LiDAR データの希薄性やさまざまなアーティファクト、およびインスタンスごとの CAD モデルの収集が現実的に不可能であるため、運転シーンでは高品質のグラウンド トゥルース監視を利用できません。この研究では、インスタンス マスクと 3D ボックスを入力として使用し、微分可能レンダリングによって 3D オブジェクトの形状を学習するフレームワークである NeurOCS を紹介します。これは、高密度オブジェクトの座標を学習するための監視としても機能します。私たちのアプローチは、シングルビューのあいまいさを適切に処理しながら、実際の運転シーンから事前にカテゴリレベルの形状を直接学習するという洞察に基づいています。さらに、オブジェクト中心の視点からオブジェクトの座標をより効果的に学習するための重要な設計上の選択を研究し、行います。まとめると、私たちのフレームワークは、公開されている単眼手法の中で KITTI-Object ベンチマークで 1 位にランクされる、単眼 3D 位置特定における新しい最先端の技術につながります。
Monocular 3D object localization in driving scenes is a crucial task, but challenging due to its ill-posed nature. Estimating 3D coordinates for each pixel on the object surface holds great potential as it provides dense 2D-3D geometric constraints for the underlying PnP problem. However, high-quality ground truth supervision is not available in driving scenes due to sparsity and various artifacts of Lidar data, as well as the practical infeasibility of collecting per-instance CAD models. In this work, we present NeurOCS, a framework that uses instance masks and 3D boxes as input to learn 3D object shapes by means of differentiable rendering, which further serves as supervision for learning dense object coordinates. Our approach rests on insights in learning a category-level shape prior directly from real driving scenes, while properly handling single-view ambiguities. Furthermore, we study and make critical design choices to learn object coordinates more effectively from an object-centric view. Altogether, our framework leads to new state-of-the-art in monocular 3D localization that ranks 1st on the KITTI-Object benchmark among published monocular methods.
updated: Sun May 28 2023 16:18:41 GMT+0000 (UTC)
published: Sun May 28 2023 16:18:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト