arXiv reaDer
Semi-DETR: 検出トランスを使用した半教師あり物体検出
Semi-DETR: Semi-Supervised Object Detection with Detection Transformers
半教師あり物体検出 (SSOD) に関する DETR ベースのフレームワークを分析し、(1) 擬似グラウンド トゥルース バウンディング ボックスが不正確な場合、1 対 1 の割り当て戦略が不正確なマッチングを生成し、トレーニングの非効率につながることを観察しました。 (2) DETR ベースの検出器には、入力クエリとその予測出力の間に決定的な対応関係がないため、現在の SSOD 方法で広く使用されている一貫性ベースの正則化の適用性が妨げられます。我々は、これらの問題に取り組むための、初のトランスベースのエンドツーエンドの半教師あり物体検出器である Semi-DETR を紹介します。具体的には、1 対多の割り当て戦略と 1 対 1 の割り当て戦略を組み合わせたステージワイズ ハイブリッド マッチング戦略を提案して、最初のステージのトレーニング効率を向上させ、その結果、ステージのトレーニングに高品質の疑似ラベルを提供します。第2段。さらに、決定的なクエリの対応関係を見つける必要性を回避しながら、さまざまなビューからのオブジェクト クエリの意味論的特徴の不変性を学習するクロスビュー クエリの一貫性メソッドを導入します。さらに、一貫性トレーニングのための疑似グラウンド トゥルース境界ボックスのマッチング コストに基づいて、より多くの疑似ボックスを動的にマイニングするコストベースの疑似ラベル マイニング モジュールを提案します。 COCO と Pascal VOC ベンチマーク データセットのすべての SSOD 設定に関する広範な実験により、当社の Semi-DETR メソッドがすべての最先端のメソッドを明らかに上回るパフォーマンスを示しています。 PaddlePaddle のバージョン コード 1 は、https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det/semi_detr にあります。
We analyze the DETR-based framework on semi-supervised object detection (SSOD) and observe that (1) the one-to-one assignment strategy generates incorrect matching when the pseudo ground-truth bounding box is inaccurate, leading to training inefficiency; (2) DETR-based detectors lack deterministic correspondence between the input query and its prediction output, which hinders the applicability of the consistency-based regularization widely used in current SSOD methods. We present Semi-DETR, the first transformer-based end-to-end semi-supervised object detector, to tackle these problems. Specifically, we propose a Stage-wise Hybrid Matching strategy that combines the one-to-many assignment and one-to-one assignment strategies to improve the training efficiency of the first stage and thus provide high-quality pseudo labels for the training of the second stage. Besides, we introduce a Crossview Query Consistency method to learn the semantic feature invariance of object queries from different views while avoiding the need to find deterministic query correspondence. Furthermore, we propose a Cost-based Pseudo Label Mining module to dynamically mine more pseudo boxes based on the matching cost of pseudo ground truth bounding boxes for consistency training. Extensive experiments on all SSOD settings of both COCO and Pascal VOC benchmark datasets show that our Semi-DETR method outperforms all state-of-the-art methods by clear margins. The PaddlePaddle version code1 is at https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det/semi_detr.
updated: Sun Jul 16 2023 16:32:14 GMT+0000 (UTC)
published: Sun Jul 16 2023 16:32:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト