この論文では、後期融合を使用して個々の投影ベースのネットワークのセマンティック機能を集約するLiDARセマンティックセグメンテーション用のアサーションベースのマルチビューフュージョンネットワーク(AMVNet)を紹介します。さまざまなプロジェクションベースのネットワークからのクラススコアが与えられると、スコアの不一致に対してアサーションガイド付きポイントサンプリングを実行し、サンプリングされた各ポイントのポイントレベルの特徴のセットを単純なポイントヘッドに渡して、予測を改善します。このモジュール式および階層型のレイトフュージョンアプローチは、軽量ネットワークからのわずかなオーバーヘッドで2つの独立したネットワークを持つ柔軟性を提供します。このようなアプローチは、計算リソースとメモリリソースが限られていることが多い自動運転車などのロボットシステムに適しています。広範な実験により、AMVNetはSemanticKITTIとnuScenesの両方のベンチマークデータセットで最先端の結果を達成し、私たちのアプローチは、投影ベースのネットワークのクラススコアを組み合わせるベースライン方法よりも優れていることが示されています。
In this paper, we present an Assertion-based Multi-View Fusion network (AMVNet) for LiDAR semantic segmentation which aggregates the semantic features of individual projection-based networks using late fusion. Given class scores from different projection-based networks, we perform assertion-guided point sampling on score disagreements and pass a set of point-level features for each sampled point to a simple point head which refines the predictions. This modular-and-hierarchical late fusion approach provides the flexibility of having two independent networks with a minor overhead from a light-weight network. Such approaches are desirable for robotic systems, e.g. autonomous vehicles, for which the computational and memory resources are often limited. Extensive experiments show that AMVNet achieves state-of-the-art results in both the SemanticKITTI and nuScenes benchmark datasets and that our approach outperforms the baseline method of combining the class scores of the projection-based networks.