自動運転車は、さらなるナビゲーションミッションのために周囲を理解するために知覚システムに依存しています。 LiDARやレーダーなどの他のセンサーと比較して、最新のコンピュータービジョンアルゴリズムによって提供されるオブジェクトの検出と認識の利点により、カメラは知覚システムに不可欠です。ただし、固有のイメージング原理によって制限されるため、標準のRGBカメラは、低照度、高コントラスト、霧/雨/雪などの悪天候など、さまざまな不利なシナリオでパフォーマンスが低下する可能性があります。 2D画像検出からの3D情報は、LiDARやレーダーと比較した場合、一般的に困難です。近年、従来のRGBカメラの限界に対処するために、いくつかの新しいセンシング技術が登場しています。このホワイトペーパーでは、赤外線カメラ、レンジゲートカメラ、偏光カメラ、イベントカメラの4つの新しいイメージセンサーの原理を確認します。それらの比較優位、既存または潜在的なアプリケーション、および対応するデータ処理アルゴリズムはすべて体系的な方法で提示されます。この調査は、自動運転社会の実践者が新しい視点と洞察を得るのに役立つことを期待しています。
Autonomous vehicles rely on perception systems to understand their surroundings for further navigation missions. Cameras are essential for perception systems due to the advantages of object detection and recognition provided by modern computer vision algorithms, comparing to other sensors, such as LiDARs and radars. However, limited by its inherent imaging principle, a standard RGB camera may perform poorly in a variety of adverse scenarios, including but not limited to: low illumination, high contrast, bad weather such as fog/rain/snow, etc. Meanwhile, estimating the 3D information from the 2D image detection is generally more difficult when compared to LiDARs or radars. Several new sensing technologies have emerged in recent years to address the limitations of conventional RGB cameras. In this paper, we review the principles of four novel image sensors: infrared cameras, range-gated cameras, polarization cameras, and event cameras. Their comparative advantages, existing or potential applications, and corresponding data processing algorithms are all presented in a systematic manner. We expect that this study will assist practitioners in the autonomous driving society with new perspectives and insights.