Open World Object Detection (OWOD) は、従来のオブジェクト検出 (OD) ベンチマークと現実世界のオブジェクト検出との間のギャップを埋める、新しく挑戦的なコンピューター ビジョン タスクです。 OWOD アルゴリズムは、見た/ラベル付けされたオブジェクトを検出して分類するだけでなく、新しい/未知のオブジェクトを検出することが期待されています。これは、分類して段階的に学習することができます。標準 OD では、ラベル付けされたオブジェクトと重複しないオブジェクト提案は、自動的に背景として分類されます。したがって、未知のオブジェクトがバックグラウンドとして予測されるため、OD メソッドを OWOD に適用するだけでは失敗します。未知のオブジェクトを検出するという課題は、未知のオブジェクトと背景オブジェクトの提案を区別する際の監督の欠如に起因します。以前の OWOD メソッドは、疑似ラベリングを使用して監視を生成することでこの問題を克服しようとしましたが、未知のオブジェクトの検出は低いままでした。確率的/生成モデルは、この課題の解決策を提供する可能性があります。ここでは、オブジェクト性推定のための新しい確率論的フレームワークを紹介します。ここでは、埋め込まれた特徴空間内の既知のオブジェクトの確率分布推定とオブジェクト性尤度の最大化を交互に行い、最終的にさまざまな提案のオブジェクト性確率を推定できるようにします。結果として得られる Probabilistic Objectness トランスフォーマー ベースのオープン ワールド検出器である PROB は、フレームワークを従来のオブジェクト検出モデルに統合し、それらをオープン ワールド設定に適応させます。 OWOD ベンチマークに関する包括的な実験では、PROB が、未知のオブジェクトの検出 (未知のリコールの約 2 倍) と既知のオブジェクトの検出 (mAP の約 10%) の両方で、既存のすべての OWOD メソッドよりも優れていることが示されています。私たちのコードは、https://github.com/orrzohar/PROB で公開された時点で利用可能になります。
Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection (∼2× unknown recall) and known object detection (∼10% mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.