arXiv reaDer
Bird's-Eye-View Panoptic Segmentation Using Monocular Frontal View Images
Bird's-Eye-View(BEV)マップは、解釈と処理が簡単でありながら豊富な空間コンテキストを提供できるため、シーンを理解するための最も強力な表現の1つとして浮上しています。ただし、BEVマップを生成するには、深度推定、地表面推定、セマンティックセグメンテーションなどの一連の個別のタスクをカプセル化する複雑な多段階パラダイムが必要です。これらのサブタスクは、モデルが全体論的な推論を行うのを防ぎ、誤ったBEVマップをもたらす、互いに素な方法で学習されることがよくあります。さらに、既存のアルゴリズムはBEV空間のセマンティクスのみを予測するため、オブジェクトインスタンスの概念が重要なアプリケーションでの使用が制限されます。この作業では、正面図(FV)の単一の単眼画像を前提として、BEVの高密度パノプティコンセグメンテーションマップを直接予測するための最初のエンドツーエンド学習アプローチを紹介します。私たちのアーキテクチャはトップダウンパラダイムに従い、FVからBEVへの入力画像の垂直領域と平坦領域を個別にマッピングすることを学習する2つの異なるトランスフォーマーで構成される新しい高密度トランスフォーマーモジュールを組み込んでいます。さらに、FV-BEV変換の感度の数学的定式化を導き出します。これにより、BEV空間内のピクセルにインテリジェントな重みを付けて、FV画像全体のさまざまな記述性を説明できます。 KITTI-360およびnuScenesデータセットの広範な評価は、私たちのアプローチがPQメトリックの最先端をそれぞれ3.61ppおよび4.93pp上回っていることを示しています。
Bird's-Eye-View (BEV) maps have emerged as one of the most powerful representations for scene understanding due to their ability to provide rich spatial context while being easy to interpret and process. However, generating BEV maps requires complex multi-stage paradigms that encapsulate a series of distinct tasks such as depth estimation, ground plane estimation, and semantic segmentation. These sub-tasks are often learned in a disjoint manner which prevents the model from holistic reasoning and results in erroneous BEV maps. Moreover, existing algorithms only predict the semantics in the BEV space, which limits their use in applications where the notion of object instances is critical. In this work, we present the first end-to-end learning approach for directly predicting dense panoptic segmentation maps in the BEV, given a single monocular image in the frontal view (FV). Our architecture follows the top-down paradigm and incorporates a novel dense transformer module consisting of two distinct transformers that learn to independently map vertical and flat regions in the input image from the FV to the BEV. Additionally, we derive a mathematical formulation for the sensitivity of the FV-BEV transformation which allows us to intelligently weight pixels in the BEV space to account for the varying descriptiveness across the FV image. Extensive evaluations on the KITTI-360 and nuScenes datasets demonstrate that our approach exceeds the state-of-the-art in the PQ metric by 3.61 pp and 4.93 pp respectively.
updated: Fri Aug 06 2021 17:59:11 GMT+0000 (UTC)
published: Fri Aug 06 2021 17:59:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト