教師なし事前トレーニングは、オブジェクト検出などのコンピューター ビジョン タスクに有益であることが最近証明されています。ただし、以前の自己監視型アプローチは、検出の重要な側面であるオブジェクトのローカライズを処理するように設計されていません。ここでは、領域事前を使用した TRansformers によるオブジェクト検出のための教師なし事前トレーニング アプローチである DETReg を紹介します。物体検出の根底にある 2 つのタスク、つまり位置特定と分類に動機付けられて、私たちは自己監視のために 2 つの補完的な信号を組み合わせます。オブジェクト位置特定信号の場合、既製の教師なし領域提案方法である選択的検索からの疑似グラウンド トゥルース オブジェクト境界ボックスを使用します。これは、トレーニング データを必要とせず、高い再現率と非常に低い精度でオブジェクトを検出できます。分類信号は、不変オブジェクト表現を促進するオブジェクト埋め込み損失に由来し、そこからオブジェクト カテゴリを推測できます。これら 2 つの信号を組み合わせて、大量のラベルのないデータから変形可能な DETR 検出アーキテクチャをトレーニングする方法を示します。 DETReg は、競合するベースラインや、MS COCO や PASCAL VOC などの標準ベンチマークでの以前の自己監視方法よりもパフォーマンスを向上させます。また、DETReg は、MS COCO のラベル付きデータの 1%、2%、5%、および 10% のみを使用してトレーニングした場合、低データ領域で以前の教師ありおよび教師なしベースライン アプローチよりも優れています。コードと事前トレーニング済みモデルについては、https://amirbar.net/detreg のプロジェクト ページにアクセスしてください。
Unsupervised pretraining has recently proven beneficial for computer vision tasks, including object detection. However, previous self-supervised approaches are not designed to handle a key aspect of detection: localizing objects. Here, we present DETReg, an unsupervised pretraining approach for object DEtection with TRansformers using Region priors. Motivated by the two tasks underlying object detection: localization and categorization, we combine two complementary signals for self-supervision. For an object localization signal, we use pseudo ground truth object bounding boxes from an off-the-shelf unsupervised region proposal method, Selective Search, which does not require training data and can detect objects at a high recall rate and very low precision. The categorization signal comes from an object embedding loss that encourages invariant object representations, from which the object category can be inferred. We show how to combine these two signals to train the Deformable DETR detection architecture from large amounts of unlabeled data. DETReg improves the performance over competitive baselines and previous self-supervised methods on standard benchmarks like MS COCO and PASCAL VOC. DETReg also outperforms previous supervised and unsupervised baseline approaches on low-data regime when trained with only 1%, 2%, 5%, and 10% of the labeled data on MS COCO. For code and pretrained models, visit the project page at https://amirbar.net/detreg