研究の進歩により、自動運転車に導入されたニューラルネットワークアルゴリズムが周囲を認識できるようになりました。環境の知覚に使用される標準的な外部受容センサーは、カメラとLidarです。したがって、これらの外部受容センサーを使用して開発されたニューラルネットワークアルゴリズムは、自動運転車の知覚に必要なソリューションを提供しました。これらの外受容性センサーの主な欠点の1つは、悪天候、たとえば低照度や夜間の条件での操作性です。自動運転車のセンサースイートのサーマルカメラの使いやすさと手頃な価格は、悪天候下での自動運転車の知覚に必要な改善をもたらします。環境のセマンティクスは、シーン内のさまざまなオブジェクトをセグメント化することで実現できる堅牢な知覚に役立ちます。この作業では、セマンティックセグメンテーションにサーマルカメラを採用しました。熱セマンティックセグメンテーション用に、ARTSegという名前の注意ベースの再帰畳み込みネットワーク(RCNN)エンコーダ-デコーダアーキテクチャを設計しました。この作業の主な貢献は、エンコーダーとデコーダーの各ブロックにRCNNの単位を使用するエンコーダー-デコーダーアーキテクチャの設計です。さらに、デコーダモジュールでは、高解像度の機能を保持し、機能のローカリゼーションを改善するために、追加の注意が採用されています。提案された方法の有効性は、利用可能な公開データセットで評価され、平均交差点(IoU)で他の最先端の方法とのパフォーマンスが向上していることを示しています。
The research advancements have made the neural network algorithms deployed in the autonomous vehicle to perceive the surrounding. The standard exteroceptive sensors that are utilized for the perception of the environment are cameras and Lidar. Therefore, the neural network algorithms developed using these exteroceptive sensors have provided the necessary solution for the autonomous vehicle's perception. One major drawback of these exteroceptive sensors is their operability in adverse weather conditions, for instance, low illumination and night conditions. The useability and affordability of thermal cameras in the sensor suite of the autonomous vehicle provide the necessary improvement in the autonomous vehicle's perception in adverse weather conditions. The semantics of the environment benefits the robust perception, which can be achieved by segmenting different objects in the scene. In this work, we have employed the thermal camera for semantic segmentation. We have designed an attention-based Recurrent Convolution Network (RCNN) encoder-decoder architecture named ARTSeg for thermal semantic segmentation. The main contribution of this work is the design of encoder-decoder architecture, which employ units of RCNN for each encoder and decoder block. Furthermore, additive attention is employed in the decoder module to retain high-resolution features and improve the localization of features. The efficacy of the proposed method is evaluated on the available public dataset, showing better performance with other state-of-the-art methods in mean intersection over union (IoU).