少数ショットのオブジェクト検出は、注釈付きの例をいくつか使用して、新しいオブジェクトを検出することを目的としています。以前の研究では、メタ学習が有望なソリューションであることが証明されており、それらのほとんどは、分類と場所の微調整のために、地域のメタ学習による検出に本質的に取り組んでいます。ただし、これらの方法は、最初は適切に配置された地域の提案に大きく依存しており、通常、数ショットの設定では取得が困難です。このホワイトペーパーでは、新しいメタ検出フレームワーク、つまりMeta-DETRを紹介します。これは、領域ごとの予測を排除し、代わりに、統一された補完的な方法で画像レベルでオブジェクトのローカリゼーションと分類をメタ学習します。具体的には、最初にサポート画像とクエリ画像の両方をカテゴリ固有の機能にエンコードし、次にそれらをカテゴリに依存しないデコーダにフィードして、特定のカテゴリの予測を直接生成します。ディープネットワークでのメタ学習を容易にするために、メタ学習表現の一般化を改善するために高レベルと低レベルの機能セマンティクスを調整する、シンプルで効果的なセマンティックアラインメントメカニズム(SAM)を設計します。複数の数ショットのオブジェクト検出ベンチマークでの実験は、Meta-DETRが最先端の方法を大幅に上回っていることを示しています。
Few-shot object detection aims at detecting novel objects with only a few annotated examples. Prior works have proved meta-learning a promising solution, and most of them essentially address detection by meta-learning over regions for their classification and location fine-tuning. However, these methods substantially rely on initially well-located region proposals, which are usually hard to obtain under the few-shot settings. This paper presents a novel meta-detector framework, namely Meta-DETR, which eliminates region-wise prediction and instead meta-learns object localization and classification at image level in a unified and complementary manner. Specifically, it first encodes both support and query images into category-specific features and then feeds them into a category-agnostic decoder to directly generate predictions for specific categories. To facilitate meta-learning with deep networks, we design a simple but effective Semantic Alignment Mechanism (SAM), which aligns high-level and low-level feature semantics to improve the generalization of meta-learned representations. Experiments over multiple few-shot object detection benchmarks show that Meta-DETR outperforms state-of-the-art methods by large margins.