自動運転車の安全で確実な運用には、環境の感性と感性が決定的な役割を果たします。この周囲の知覚は、人間の視覚的表現に非常に似ています。人間の脳は、さまざまな感覚チャネルを利用して環境を認識し、ビュー不変の表現モデルを開発します。このコンテキストを維持しながら、環境を認識するために、さまざまな外部受容センサーが自動運転車に配備されます。最も一般的な外部受容センサーは、自動運転車の知覚のためのカメラ、ライダー、レーダーです。これらのセンサーは、可視スペクトル領域での利点を示していますが、悪天候、たとえば夜間では、操作能力が制限されており、致命的な事故につながる可能性があります。この作業では、自己教師あり対照学習アプローチを採用することにより、ビュー不変モデル表現をモデル化するための熱オブジェクト検出を検討します。この目的のために、対比学習によって可視スペクトル領域と赤外線スペクトル領域の間の情報を最大化するための特徴埋め込みを学習し、後でこれらの学習された特徴表現を使用して熱物体検出に使用するためのディープニューラルネットワーク自己教師あり熱ネットワーク(SSTN)を提案しました。マルチスケールエンコーダ-デコーダトランスネットワーク。提案された方法は、FLIR-ADASデータセットとKAISTマルチスペクトルデータセットの2つの公開されているデータセットで広範囲に評価されています。実験結果は、提案された方法の有効性を示している。
The sensibility and sensitivity of the environment play a decisive role in the safe and secure operation of autonomous vehicles. This perception of the surrounding is way similar to human visual representation. The human's brain perceives the environment by utilizing different sensory channels and develop a view-invariant representation model. Keeping in this context, different exteroceptive sensors are deployed on the autonomous vehicle for perceiving the environment. The most common exteroceptive sensors are camera, Lidar and radar for autonomous vehicle's perception. Despite being these sensors have illustrated their benefit in the visible spectrum domain yet in the adverse weather conditions, for instance, at night, they have limited operation capability, which may lead to fatal accidents. In this work, we explore thermal object detection to model a view-invariant model representation by employing the self-supervised contrastive learning approach. For this purpose, we have proposed a deep neural network Self Supervised Thermal Network (SSTN) for learning the feature embedding to maximize the information between visible and infrared spectrum domain by contrastive learning, and later employing these learned feature representation for the thermal object detection using multi-scale encoder-decoder transformer network. The proposed method is extensively evaluated on the two publicly available datasets: the FLIR-ADAS dataset and the KAIST Multi-Spectral dataset. The experimental results illustrate the efficacy of the proposed method.