最近のエンドツーエンドのマルチオブジェクト検出器は、非最大抑制(NMS)を使用した重複バウンディングボックスの削除など、手作りのプロセスを削除することにより、推論パイプラインを簡素化します。ただし、トレーニングでは、検出器の出力からの損失を計算するために2部マッチングが必要です。エンドツーエンド方式の指向性とは対照的に、2部マッチングにより、エンドツーエンド検出器のトレーニングは複雑で、ヒューリスティックで、信頼性が高くなります。本論文では、二部マッチングを行わずにエンドツーエンドのマルチオブジェクト検出器をトレーニングする方法を提案することを目的としています。この目的のために、混合モデルを使用した密度推定として、エンドツーエンドのマルチオブジェクト検出にアプローチします。 Sparse Mixture Density Object Detector(Sparse MDOD)と呼ばれる提案された検出器は、混合モデルを使用して境界ボックスの分布を推定します。スパースMDODは、負の対数尤度と提案された正則化項である、予測の重複を防ぐ最大コンポーネント最大化(MCM)損失を最小化することによってトレーニングされます。トレーニング中、2部マッチングなどの追加の手順は必要なく、損失はネットワーク出力から直接計算されます。さらに、当社のスパースMDODは、有名なマルチオブジェクト検出ベンチマークであるMS-COCOの既存の検出器よりも優れています。
Recent end-to-end multi-object detectors simplify the inference pipeline by removing the hand-crafted process such as the duplicate bounding box removal using non-maximum suppression (NMS). However, in the training, they require bipartite matching to calculate the loss from the output of the detector. Contrary to the directivity of the end-to-end method, the bipartite matching makes the training of the end-to-end detector complex, heuristic, and reliant. In this paper, we aim to propose a method to train the end-to-end multi-object detector without bipartite matching. To this end, we approach end-to-end multi-object detection as a density estimation using a mixture model. Our proposed detector, called Sparse Mixture Density Object Detector (Sparse MDOD) estimates the distribution of bounding boxes using a mixture model. Sparse MDOD is trained by minimizing the negative log-likelihood and our proposed regularization term, maximum component maximization (MCM) loss that prevents duplicated predictions. During training, no additional procedure such as bipartite matching is needed, and the loss is directly computed from the network outputs. Moreover, our Sparse MDOD outperforms the existing detectors on MS-COCO, a renowned multi-object detection benchmark.