オープンワールドオブジェクト検出(OWOD)は、コンピュータビジョンの問題であり、既知のオブジェクトカテゴリのセットを検出すると同時に、未知のオブジェクトを識別します。さらに、モデルは、次のトレーニングエピソードで知られるようになる新しいクラスを段階的に学習する必要があります。標準のオブジェクト検出とは異なり、OWOD設定は、潜在的に未知のオブジェクトに関する品質候補の提案を生成し、未知のオブジェクトを背景から分離し、多様な未知のオブジェクトを検出するための重要な課題をもたらします。ここでは、オープンワールドのオブジェクト検出のための新しいエンドツーエンドのトランスベースのフレームワーク、OW-DETRを紹介します。提案されたOW-DETRは、前述のOWODの課題に明示的に対処するために、注意駆動型の疑似ラベリング、新規性の分類、およびオブジェクト性スコアリングという3つの専用コンポーネントで構成されています。私たちのOW-DETRは、マルチスケールのコンテキスト情報を明示的にエンコードし、誘導バイアスが少なく、既知のクラスから未知のクラスへの知識の転送を可能にし、未知のオブジェクトと背景をより適切に区別できます。包括的な実験は、MS-COCOとPASCALVOCの2つのベンチマークで実行されます。大規模なアブレーションは、提案された貢献のメリットを明らかにします。さらに、私たちのモデルは、最近導入されたOWODアプローチであるOREを上回り、MS-COCOベンチマークでの未知のリコールに関して1.8%から3.3%の範囲の絶対ゲインを示しています。インクリメンタルオブジェクト検出の場合、OW-DETRは、PASCALVOCベンチマークのすべての設定で最先端のパフォーマンスを上回ります。私たちのコードとモデルは公開されます。
Open-world object detection (OWOD) is a challenging computer vision problem, where the task is to detect a known set of object categories while simultaneously identifying unknown objects. Additionally, the model must incrementally learn new classes that become known in the next training episodes. Distinct from standard object detection, the OWOD setting poses significant challenges for generating quality candidate proposals on potentially unknown objects, separating the unknown objects from the background and detecting diverse unknown objects. Here, we introduce a novel end-to-end transformer-based framework, OW-DETR, for open-world object detection. The proposed OW-DETR comprises three dedicated components namely, attention-driven pseudo-labeling, novelty classification and objectness scoring to explicitly address the aforementioned OWOD challenges. Our OW-DETR explicitly encodes multi-scale contextual information, possesses less inductive bias, enables knowledge transfer from known classes to the unknown class and can better discriminate between unknown objects and background. Comprehensive experiments are performed on two benchmarks: MS-COCO and PASCAL VOC. The extensive ablations reveal the merits of our proposed contributions. Further, our model outperforms the recently introduced OWOD approach, ORE, with absolute gains ranging from 1.8% to 3.3% in terms of unknown recall on the MS-COCO benchmark. In the case of incremental object detection, OW-DETR outperforms the state-of-the-art for all settings on the PASCAL VOC benchmark. Our codes and models will be publicly released.