正確で効率的な歩行者検出は、先進運転支援システムやスマート歩行者横断歩行システムなど、歩行者の安全性と移動性に関する高度道路交通システムにとって非常に重要です。すべての歩行者検出方法の中で、視覚ベースの検出方法が以前の研究で最も効果的であることが実証されています。ただし、既存のビジョンベースの歩行者検出アルゴリズムには、実装を制限する2つの制限があります。それらは、リアルタイムパフォーマンスと、低照度条件などの環境要因の影響に対する耐性です。これらの問題に対処するために、この研究では、正確で効率的な歩行者検出のための軽量の照明および温度認識マルチスペクトルネットワーク(IT-MN)を提案します。提案されているIT-MNは、効率的な1段検波器です。環境要因の影響に対応し、検知精度を高めるために、熱画像データは提案されたIT-MNによって視覚画像と融合され、視覚画像の品質が制限されている場合に有用な情報を充実させます。さらに、画像融合性能を最適化するために、革新的で効果的な後期融合戦略も開発されています。提案されたモデルをエッジコンピューティングに実装できるようにするために、モデルの量子化を適用して、モデルのサイズを75%削減し、推論時間を大幅に短縮します。提案されたアルゴリズムは、車載カメラによって収集された公開データセットを使用して、選択された最先端のアルゴリズムと比較することによって評価されます。結果は、提案されたアルゴリズムが、GPU上の画像ペアあたり14.19%および0.03秒で低いミス率と推論時間を達成することを示しています。さらに、量子化されたIT-MNは、エッジデバイス上の画像ペアごとに0.21秒の推論時間を達成します。これは、提案されたモデルを非常に効率的な歩行者検出アルゴリズムとしてエッジデバイスに展開する可能性も示しています。
Accurate and efficient pedestrian detection is crucial for the intelligent transportation system regarding pedestrian safety and mobility, e.g., Advanced Driver Assistance Systems, and smart pedestrian crosswalk systems. Among all pedestrian detection methods, vision-based detection method is demonstrated to be the most effective in previous studies. However, the existing vision-based pedestrian detection algorithms still have two limitations that restrict their implementations, those being real-time performance as well as the resistance to the impacts of environmental factors, e.g., low illumination conditions. To address these issues, this study proposes a lightweight Illumination and Temperature-aware Multispectral Network (IT-MN) for accurate and efficient pedestrian detection. The proposed IT-MN is an efficient one-stage detector. For accommodating the impacts of environmental factors and enhancing the sensing accuracy, thermal image data is fused by the proposed IT-MN with visual images to enrich useful information when visual image quality is limited. In addition, an innovative and effective late fusion strategy is also developed to optimize the image fusion performance. To make the proposed model implementable for edge computing, the model quantization is applied to reduce the model size by 75% while shortening the inference time significantly. The proposed algorithm is evaluated by comparing with the selected state-of-the-art algorithms using a public dataset collected by in-vehicle cameras. The results show that the proposed algorithm achieves a low miss rate and inference time at 14.19% and 0.03 seconds per image pair on GPU. Besides, the quantized IT-MN achieves an inference time of 0.21 seconds per image pair on the edge device, which also demonstrates the potentiality of deploying the proposed model on edge devices as a highly efficient pedestrian detection algorithm.