多くのオープンワールドアプリケーションでは、新しいオブジェクトの検出が必要ですが、最先端のオブジェクト検出およびインスタンスセグメンテーションネットワークは、このタスクに優れていません。重要な問題は、注釈のない領域をネガとして抑制すべきであるという彼らの仮定にあります。これは、注釈のないオブジェクトを背景として扱うようにモデルに教えます。この問題に対処するために、Learning to Detect Every Thing(LDET)と呼ばれるシンプルでありながら驚くほど強力なデータ拡張およびトレーニングスキームを提案します。非表示のオブジェクト、つまり表示されているがラベルが付いていない背景オブジェクトの抑制を回避するために、元の画像の小さな領域からサンプリングされた背景画像に注釈付きのオブジェクトを貼り付けます。このような合成的に拡張された画像のみでのトレーニングはドメインシフトに悩まされるため、トレーニングを2つの部分に分離します。1)拡張画像での領域分類と回帰ヘッドのトレーニング、および2)元の画像でのマスクヘッドのトレーニングです。このように、モデルは、実際の画像にうまく一般化しながら、非表示のオブジェクトを背景として分類することを学習しません。 LDETは、オープンワールドインスタンスセグメンテーションタスクの多くのデータセットの大幅な改善につながり、COCOでのカテゴリ間の一般化のベースラインを上回り、UVOと都市の景観でのデータセット間の評価を上回ります。
Many open-world applications require the detection of novel objects, yet state-of-the-art object detection and instance segmentation networks do not excel at this task. The key issue lies in their assumption that regions without any annotations should be suppressed as negatives, which teaches the model to treat the unannotated objects as background. To address this issue, we propose a simple yet surprisingly powerful data augmentation and training scheme we call Learning to Detect Every Thing (LDET). To avoid suppressing hidden objects, background objects that are visible but unlabeled, we paste annotated objects on a background image sampled from a small region of the original image. Since training solely on such synthetically augmented images suffers from domain shift, we decouple the training into two parts: 1) training the region classification and regression head on augmented images, and 2) training the mask heads on original images. In this way, a model does not learn to classify hidden objects as background while generalizing well to real images. LDET leads to significant improvements on many datasets in the open world instance segmentation task, outperforming baselines on cross-category generalization on COCO, as well as cross-dataset evaluation on UVO and Cityscapes.