すべての交通参加者の安全を確保することは、インテリジェント車両を実際のアプリケーションに近づけるための前提条件です。支援システムは、通常の条件下で高精度を達成するだけでなく、極端な状況に対して堅牢な知覚を得る必要があります。ただし、オブジェクトの衝突、変形、転倒などを伴う交通事故は、ほとんどのトレーニングセットでは見られませんが、既存のセマンティックセグメンテーションモデルのパフォーマンスに大きな悪影響を及ぼします。この問題に取り組むために、事故データセットDADAセグメントとともに、事故シナリオでのセマンティックセグメンテーションに関してめったに対処されないタスクを提示します。これには、それぞれ40フレームの313のさまざまな事故シーケンスが含まれており、そのうちの時間枠は交通事故の前と最中に配置されています。セグメンテーションパフォーマンスのベンチマークのために、11フレームごとに手動で注釈が付けられます。さらに、新しいイベントベースのマルチモーダルセグメンテーションアーキテクチャISSAFEを提案します。私たちの実験は、イベントベースのデータが、事故の際に動きの速い前景(クラッシュオブジェクト)のきめ細かい動きを維持することにより、悪条件の下でセマンティックセグメンテーションを安定させるための補足情報を提供できることを示しています。私たちのアプローチは、提案された評価セットで+ 8.2%のmIoUパフォーマンスの向上を達成し、10を超える最先端のセグメンテーション方法を超えています。提案されたISSAFEアーキテクチャは、Cityscapes、KITTI-360、BDD、ApolloScapeなどの複数のソースデータベースで学習されたモデルに対して一貫して効果的であることが実証されています。
Ensuring the safety of all traffic participants is a prerequisite for bringing intelligent vehicles closer to practical applications. The assistance system should not only achieve high accuracy under normal conditions, but obtain robust perception against extreme situations. However, traffic accidents that involve object collisions, deformations, overturns, etc., yet unseen in most training sets, will largely harm the performance of existing semantic segmentation models. To tackle this issue, we present a rarely addressed task regarding semantic segmentation in accidental scenarios, along with an accident dataset DADA-seg. It contains 313 various accident sequences with 40 frames each, of which the time windows are located before and during a traffic accident. Every 11th frame is manually annotated for benchmarking the segmentation performance. Furthermore, we propose a novel event-based multi-modal segmentation architecture ISSAFE. Our experiments indicate that event-based data can provide complementary information to stabilize semantic segmentation under adverse conditions by preserving fine-grain motion of fast-moving foreground (crash objects) in accidents. Our approach achieves +8.2% mIoU performance gain on the proposed evaluation set, exceeding more than 10 state-of-the-art segmentation methods. The proposed ISSAFE architecture is demonstrated to be consistently effective for models learned on multiple source databases including Cityscapes, KITTI-360, BDD and ApolloScape.