最近、マルチモーダルセンサーを利用して堅牢なレーンラインセグメンテーションを実現することに関心が高まっています。この論文では、情報理論の観点から新しいマルチモーダル融合アーキテクチャを紹介し、光検出および測距(LiDAR)カメラ融合ネットワークを使用したその実用性を示します。特に、単一のノード、レイヤー、パイプラインがそれぞれチャネルとして表される共同コーディングモデルとして、マルチモーダルフュージョンネットワークを初めて開発しました。したがって、順伝播はチャネル内の情報送信に等しくなります。次に、さまざまな融合アプローチの効果を定性的および定量的に分析できます。最適なフュージョンアーキテクチャは、ソースとチャネルに基づいた基本的な容量とその割り当てに関連していると主張します。このマルチモーダル融合仮説をテストするために、提案された融合方法に基づいて一連のマルチモーダルモデルを段階的に決定し、KITTIおよびA2D2データセットでそれらを評価します。当社の最適なフュージョンネットワークは、85%以上のレーンライン精度と98.7%以上の全体を達成します。モデル間のパフォーマンスのギャップは、深いマルチモーダル学習コミュニティのための最適な融合アルゴリズムの開発に関する継続的な将来の研究に情報を提供します。
There has recently been growing interest in utilizing multimodal sensors to achieve robust lane line segmentation. In this paper, we introduce a novel multimodal fusion architecture from an information theory perspective, and demonstrate its practical utility using Light Detection and Ranging (LiDAR) camera fusion networks. In particular, we develop, for the first time, a multimodal fusion network as a joint coding model, where each single node, layer, and pipeline is represented as a channel. The forward propagation is thus equal to the information transmission in the channels. Then, we can qualitatively and quantitatively analyze the effect of different fusion approaches. We argue the optimal fusion architecture is related to the essential capacity and its allocation based on the source and channel. To test this multimodal fusion hypothesis, we progressively determine a series of multimodal models based on the proposed fusion methods and evaluate them on the KITTI and the A2D2 datasets. Our optimal fusion network achieves 85%+ lane line accuracy and 98.7%+ overall. The performance gap among the models will inform continuing future research into development of optimal fusion algorithms for the deep multimodal learning community.