メタ学習を領域ベースの検出フレームワークに組み込むことにより、少数ショットのオブジェクト検出が広範囲に調査されています。その成功にもかかわらず、前述のパラダイムは、(i)新規クラスに対する低品質の地域提案、および(ii)異なるクラス間のクラス間相関の怠慢などのいくつかの要因によって制約されます。このような制限は、新規クラスのオブジェクトを検出するための基本クラスの知識の一般化を妨げます。この作業では、メタ学習用の相関集計をDETR検出フレームワークに組み込んだ、新しい数ショット検出フレームワークであるMeta-DETRを設計します。 Meta-DETRは、領域の提案なしで完全に画像レベルで機能します。これにより、一般的な少数ショット検出フレームワークでの不正確な提案の制約が回避されます。さらに、Meta-DETRは、単一のフィードフォワード内で複数のサポートクラスに同時に参加できます。この独自の設計により、異なるクラス間のクラス間の相関関係をキャプチャできます。これにより、類似したクラスの誤分類が大幅に減少し、新しいクラスへの知識の一般化が強化されます。複数の数ショットのオブジェクト検出ベンチマークでの実験は、提案されたMeta-DETRが最先端の方法を大幅に上回っていることを示しています。実装コードはhttps://github.com/ZhangGongjie/Meta-DETRでリリースされます。
Few-shot object detection has been extensively investigated by incorporating meta-learning into region-based detection frameworks. Despite its success, the said paradigm is constrained by several factors, such as (i) low-quality region proposals for novel classes and (ii) negligence of the inter-class correlation among different classes. Such limitations hinder the generalization of base-class knowledge for the detection of novel-class objects. In this work, we design Meta-DETR, a novel few-shot detection framework that incorporates correlational aggregation for meta-learning into DETR detection frameworks. Meta-DETR works entirely at image level without any region proposals, which circumvents the constraint of inaccurate proposals in prevalent few-shot detection frameworks. Besides, Meta-DETR can simultaneously attend to multiple support classes within a single feed-forward. This unique design allows capturing the inter-class correlation among different classes, which significantly reduces the misclassification of similar classes and enhances knowledge generalization to novel classes. Experiments over multiple few-shot object detection benchmarks show that the proposed Meta-DETR outperforms state-of-the-art methods by large margins. The implementation codes will be released at https://github.com/ZhangGongjie/Meta-DETR.