ディープニューラルネットワークの最近の進歩にもかかわらず、悪天候での一部のセンサーの認識が悪いため、悪天候のオブジェクト検出は依然として困難です。マルチモーダルフュージョンは、単一のセンサーに依存するのではなく、複数のセンサーに基づいて冗長な検出情報を提供するための有望なアプローチの1つです。ただし、ほとんどの既存のマルチモーダルフュージョンアプローチは、動的な悪天候条件でのさまざまな検出環境下でさまざまなセンサーの焦点を調整するには効果がありません。さらに、複雑な気象条件の下でローカル情報とグローバル情報を同時に観察することが重要です。これは、ほとんどの初期または後期のマルチモーダル融合作業では無視されてきました。これらを考慮して、この論文は、マルチモダリティセンシングストリーム、すなわち、カメラ、ゲートカメラ、およびライダーデータを2つの融合段階で適応的に融合するためのグローバルローカルアテンション(GLA)フレームワークを提案します。具体的には、GLAは、ローカルアテンションネットワークを介した初期段階の融合とグローバルアテンションネットワークを介した後期段階の融合を統合して、ローカル情報とグローバル情報の両方を処理します。特定の気象条件に適応的に対処するためのステージフュージョン。実験結果は、薄霧、濃霧、雪などのさまざまな悪天候下での最先端の融合アプローチと比較して、提案されたGLAの優れた性能を示しています。
Despite the recent advances of deep neural networks, object detection for adverse weather remains challenging due to the poor perception of some sensors in adverse weather. Instead of relying on one single sensor, multimodal fusion has been one promising approach to provide redundant detection information based on multiple sensors. However, most existing multimodal fusion approaches are ineffective in adjusting the focus of different sensors under varying detection environments in dynamic adverse weather conditions. Moreover, it is critical to simultaneously observe local and global information under complex weather conditions, which has been neglected in most early or late-stage multimodal fusion works. In view of these, this paper proposes a Global-Local Attention (GLA) framework to adaptively fuse the multi-modality sensing streams, i.e., camera, gated camera, and lidar data, at two fusion stages. Specifically, GLA integrates an early-stage fusion via a local attention network and a late-stage fusion via a global attention network to deal with both local and global information, which automatically allocates higher weights to the modality with better detection features at the late-stage fusion to cope with the specific weather condition adaptively. Experimental results demonstrate the superior performance of the proposed GLA compared with state-of-the-art fusion approaches under various adverse weather conditions, such as light fog, dense fog, and snow.