ほとんどの自動運転車(AV)は、知覚のためにLiDARおよびRGBカメラセンサーに依存しています。これらの点群と画像データを使用して、ディープニューラルネット(DNN)に基づく知覚モデルは、3D検出で最先端のパフォーマンスを実現しました。敵対的攻撃に対するDNNの脆弱性は、RGBイメージドメインで、そして最近ではポイントクラウドドメインで徹底的に調査されていますが、両方のドメインで同時に調査されることはめったにありません。 AVで使用されるマルチモーダル知覚システムは、2つの大きなタイプに分けることができます。各モダリティを個別に使用するカスケードモデルと、異なるモダリティから同時に学習する融合モデルです。タイプごとに普遍的で物理的に実現可能な敵対的攻撃を提案し、それぞれの脆弱性を調査して攻撃と対比します。この車が検出を回避することを目的として、特定の形状とテクスチャを持つ単一の敵対オブジェクトを車の上に配置します。人気のあるKITTIベンチマークを評価すると、敵対するオブジェクトによって、各モデルタイプによるホスト車両の脱出検出がほぼ50%の確率で行われました。高密度RGB入力は、カスケードモデルとフュージョンモデルの両方に対する敵対的攻撃の成功にさらに貢献しました。フュージョンモデルは、カスケードモデルよりも敵対攻撃に対して比較的堅牢であることがわかりました。
Most autonomous vehicles (AVs) rely on LiDAR and RGB camera sensors for perception. Using these point cloud and image data, perception models based on deep neural nets (DNNs) have achieved state-of-the-art performance in 3D detection. The vulnerability of DNNs to adversarial attacks have been heavily investigated in the RGB image domain and more recently in the point cloud domain, but rarely in both domains simultaneously. Multi-modal perception systems used in AVs can be divided into two broad types: cascaded models which use each modality independently, and fusion models which learn from different modalities simultaneously. We propose a universal and physically realizable adversarial attack for each type, and study and contrast their respective vulnerabilities to attacks. We place a single adversarial object with specific shape and texture on top of a car with the objective of making this car evade detection. Evaluating on the popular KITTI benchmark, our adversarial object made the host vehicle escape detection by each model type nearly 50% of the time. The dense RGB input contributed more to the success of the adversarial attacks on both cascaded and fusion models. We found that the fusion model was relatively more robust to adversarial attacks than the cascaded model.