画像のインスタンスセグメンテーションは、自動化されたシーン理解のための重要なツールです。ニューラルネットワークは通常、精度の観点から全体的なパフォーマンスを最適化するようにトレーニングされています。一方、自動運転などのアプリケーションでは、見落とされた歩行者は、誤って検出された歩行者よりも有害であるように見えます。この作業では、オンラインアプリケーションでの画像シーケンスの可用性を考慮して、追跡されたインスタンスの時系列の不整合に基づく画像シーケンスの偽陰性検出方法を提示します。このアルゴリズムによってインスタンスの数を大幅に増やすことができるため、インスタンス全体で集計された不確実性の推定値を使用して、誤検知のプルーニングを適用します。この目的のために、特定のインスタンスの不確実性と形状を特徴付ける、または深度推定に基づくインスタンスごとのメトリックが構築されます。提案された方法は、単一フレームのみでトレーニングすることもできる任意のニューラルネットワークに適用可能な後処理ステップとして機能します。私たちのテストでは、推論中にインスタンスセグメンテーションネットワークによって提供される通常のスコア値を使用する場合と比較して、融合検出アプローチによって、偽陰性インスタンスと偽陽性インスタンスの間のトレードオフが改善されています。
Instance segmentation of images is an important tool for automated scene understanding. Neural networks are usually trained to optimize their overall performance in terms of accuracy. Meanwhile, in applications such as automated driving, an overlooked pedestrian seems more harmful than a falsely detected one. In this work, we present a false negative detection method for image sequences based on inconsistencies in time series of tracked instances given the availability of image sequences in online applications. As the number of instances can be greatly increased by this algorithm, we apply a false positive pruning using uncertainty estimates aggregated over instances. To this end, instance-wise metrics are constructed which characterize uncertainty and geometry of a given instance or are predicated on depth estimation. The proposed method serves as a post-processing step applicable to any neural network that can also be trained on single frames only. In our tests, we obtain an improved trade-off between false negative and false positive instances by our fused detection approach in comparison to the use of an ordinary score value provided by the instance segmentation network during inference.