移動ロボットにとって、運転可能な領域と道路の異常を共同で検出することは非常に重要です。最近、畳み込みニューラルネットワーク(CNN)に基づく多くのセマンティックセグメンテーションアプローチが、ピクセル単位の運転可能な領域と道路の異常検出のために提案されています。さらに、KITTIやCityscapesなどのいくつかのベンチマークデータセットが広く使用されています。ただし、既存のベンチマークは主に自動運転車向けに設計されています。ロボット車椅子などの地上移動ロボットのベンチマークはありません。したがって、この論文では、最初に地上移動ロボットの運転可能領域と道路異常検出ベンチマークを構築し、視覚的特徴の6つのモダリティを使用して既存の最先端のシングルモーダルおよびデータ融合セマンティックセグメンテーションCNNを評価します。さらに、動的融合モジュール(DFM)と呼ばれる新しいモジュールを提案します。これは、既存のデータ融合ネットワークに簡単に展開して、さまざまなタイプの視覚的特徴を効果的かつ効率的に融合できます。実験結果は、変換された視差画像が最も有益な視覚的特徴であり、提案されたDFM-RTFNetが最先端のものよりも優れていることを示しています。さらに、当社のDFM-RTFNetは、KITTIロードベンチマークで競争力のあるパフォーマンスを実現します。当社のベンチマークは、https://sites.google.com/view/gmrbで公開されています。
Joint detection of drivable areas and road anomalies is very important for mobile robots. Recently, many semantic segmentation approaches based on convolutional neural networks (CNNs) have been proposed for pixel-wise drivable area and road anomaly detection. In addition, some benchmark datasets, such as KITTI and Cityscapes, have been widely used. However, the existing benchmarks are mostly designed for self-driving cars. There lacks a benchmark for ground mobile robots, such as robotic wheelchairs. Therefore, in this paper, we first build a drivable area and road anomaly detection benchmark for ground mobile robots, evaluating the existing state-of-the-art single-modal and data-fusion semantic segmentation CNNs using six modalities of visual features. Furthermore, we propose a novel module, referred to as the dynamic fusion module (DFM), which can be easily deployed in existing data-fusion networks to fuse different types of visual features effectively and efficiently. The experimental results show that the transformed disparity image is the most informative visual feature and the proposed DFM-RTFNet outperforms the state-of-the-arts. Additionally, our DFM-RTFNet achieves competitive performance on the KITTI road benchmark. Our benchmark is publicly available at https://sites.google.com/view/gmrb.