この作品では、視野と画像レベルの理解の両方の観点から最も全体的なシーンの理解としてパノラマパノプティコンセグメンテーションを紹介します。完全な周囲の理解は、エージェントに最大の情報を提供します。これは、実際の交通などの安全性が重要な動的環境で情報に基づいた意思決定を行うために、インテリジェントな車両にとって不可欠です。注釈付きのパノラマ画像の不足を克服するために、標準のピンホール画像でモデルトレーニングを可能にし、学習した特徴を別のドメインに転送するフレームワークを提案します。提案された方法を使用して、ワイルドパノプティコンパノプティコンセグメンテーション(WildPPS)データセットの非適応モデルと比較して、PQで測定された5%を超える大幅な改善を達成することができます。提案されたパノラマロバスト機能(PRF)フレームワークは、パノラマ画像のパフォーマンスを向上させるのに適しているだけでなく、さまざまな分布から取得したデータに対してモデルのトレーニングと展開を実行する場合に役立つ可能性があることを示します。追加の貢献として、WildPPSを公開します。周囲の知覚の進歩を促進する最初のパノラマパノラマ画像データセットです。
In this work, we introduce panoramic panoptic segmentation as the most holistic scene understanding both in terms of field of view and image level understanding. A complete surrounding understanding provides a maximum of information to the agent, which is essential for any intelligent vehicle in order to make informed decisions in a safety-critical dynamic environment such as real-world traffic. In order to overcome the lack of annotated panoramic images, we propose a framework which allows model training on standard pinhole images and transfers the learned features to a different domain. Using our proposed method, we manage to achieve significant improvements of over 5% measured in PQ over non-adapted models on our Wild Panoramic Panoptic Segmentation (WildPPS) dataset. We show that our proposed Panoramic Robust Feature (PRF) framework is not only suitable to improve performance on panoramic images but can be beneficial whenever model training and deployment are executed on data taken from different distributions. As an additional contribution, we publish WildPPS: The first panoramic panoptic image dataset to foster progress in surrounding perception.