少数ショットオブジェクト検出は、わずかなアノテーション付きの例から新規のオブジェクトを検出することを目的としている。先行研究では、メタ学習が有望な解決策であることが証明されており、その多くは、分類と位置のファインチューニングのために、領域を対象としたメタ学習によって検出に対処している。しかし、これらの手法は、最初に十分な位置に配置された領域の提案に大きく依存しており、少数ショットの設定では通常は入手が困難である。本論文では、新しいメタ検出器フレームワーク、すなわちMeta-DETRを提案する。このフレームワークでは、領域ごとの予測を排除し、代わりに画像レベルで物体の位置特定と分類を統一的かつ補完的にメタ学習する。具体的には、まず、サポート画像とクエリ画像の両方をカテゴリー固有の特徴にエンコードし、それをカテゴリーに依存しないデコーダに供給することで、特定のカテゴリーに対する予測を直接生成する。本研究では、深層ネットワークを用いたメタ学習を促進するために、シンプルかつ効果的なセマンティック・アライメント・メカニズム(SAM)を設計した。これは、高レベルと低レベルの特徴のセマンティクスを整合させ、メタ学習された表現の一般化を向上させる。複数の数ショットの物体検出ベンチマークを用いた実験では、Meta-DETRが最先端の手法を大幅に上回ることが示された。
Few-shot object detection aims at detecting novel objects with only a few annotated examples. Prior works have proved meta-learning a promising solution, and most of them essentially address detection by meta-learning over regions for their classification and location fine-tuning. However, these methods substantially rely on initially well-located region proposals, which are usually hard to obtain under the few-shot settings. This paper presents a novel meta-detector framework, namely Meta-DETR, which eliminates region-wise prediction and instead meta-learns object localization and classification at image level in a unified and complementary manner. Specifically, it first encodes both support and query images into category-specific features and then feeds them into a category-agnostic decoder to directly generate predictions for specific categories. To facilitate meta-learning with deep networks, we design a simple but effective Semantic Alignment Mechanism (SAM), which aligns high-level and low-level feature semantics to improve the generalization of meta-learned representations. Experiments over multiple few-shot object detection benchmarks show that Meta-DETR outperforms state-of-the-art methods by large margins.