交通シーンのエッジケースでのセマンティックセグメンテーションの堅牢性は、高度道路交通システムの安全性にとって重要な要素です。ただし、交通事故の重大なシーンのほとんどは非常に動的であり、以前は見られなかったため、セマンティックセグメンテーションメソッドのパフォーマンスに深刻な悪影響を及ぼします。さらに、高速運転中の従来のカメラの遅延は、時間次元のコンテキスト情報をさらに削減します。したがって、モーションブラー、衝突、変形、転倒などの交通事故の場合でも、時間分解能の高いイベントベースのデータから動的コンテキストを抽出して静的RGB画像を強化することを提案します。さらに、セグメンテーションを評価するために交通事故のパフォーマンスについては、ピクセル単位で注釈が付けられた事故データセット、つまりDADAセグメントを提供します。これには、交通事故のさまざまな重大なシナリオが含まれています。私たちの実験は、イベントベースのデータが、事故の際に動きの速い前景(クラッシュオブジェクト)のきめ細かい動きを維持することにより、悪条件の下でセマンティックセグメンテーションを安定させるための補足情報を提供できることを示しています。私たちのアプローチは、提案された事故データセットで+ 8.2%のパフォーマンス向上を達成し、20を超える最先端のセマンティックセグメンテーション手法を超えています。この提案は、Cityscapes、KITTI-360、BDD、ApolloScapeなどの複数のソースデータベースで学習されたモデルに対して一貫して効果的であることが実証されています。
The robustness of semantic segmentation on edge cases of traffic scene is a vital factor for the safety of intelligent transportation. However, most of the critical scenes of traffic accidents are extremely dynamic and previously unseen, which seriously harm the performance of semantic segmentation methods. In addition, the delay of the traditional camera during high-speed driving will further reduce the contextual information in the time dimension. Therefore, we propose to extract dynamic context from event-based data with a higher temporal resolution to enhance static RGB images, even for those from traffic accidents with motion blur, collisions, deformations, overturns, etc. Moreover, in order to evaluate the segmentation performance in traffic accidents, we provide a pixel-wise annotated accident dataset, namely DADA-seg, which contains a variety of critical scenarios from traffic accidents. Our experiments indicate that event-based data can provide complementary information to stabilize semantic segmentation under adverse conditions by preserving fine-grained motion of fast-moving foreground (crash objects) in accidents. Our approach achieves +8.2% performance gain on the proposed accident dataset, exceeding more than 20 state-of-the-art semantic segmentation methods. The proposal has been demonstrated to be consistently effective for models learned on multiple source databases including Cityscapes, KITTI-360, BDD, and ApolloScape.