実世界のデータには固有のロングテール分布があるため、少数ショットのオブジェクト検出は必須で長期的な問題です。そのパフォーマンスは、新しいクラスのデータ不足に大きく影響されます。ただし、新規クラスと基本クラスの間の意味関係は、データの可用性に関係なく一定です。この作業では、視覚情報と一緒にこの意味関係を利用することを調査し、新しいオブジェクト検出の学習に明示的な関係推論を導入します。具体的には、テキストの大規模なコーパスから学習したセマンティック埋め込みによって、各クラスの概念を表します。検出器は、オブジェクトの画像表現をこの埋め込みスペースに投影するようにトレーニングされています。また、ヒューリスティック知識グラフを使用して生の埋め込みを簡単に使用することの問題を特定し、動的関係グラフを使用して埋め込みを拡張することを提案します。その結果、SRR-FSDと呼ばれる当社の数ショット検出器は、新しいオブジェクトのショットの変化に対して堅牢で安定しています。実験によると、SRR-FSDはより高いショットで競争力のある結果を達成でき、さらに重要なことに、より低い明示的ショットと暗黙的ショットの両方でパフォーマンスが大幅に向上します。事前に訓練された分類データセットから暗黙のショットが削除された提案されたベンチマークプロトコルは、将来の研究のためのより現実的な設定として役立つ可能性があります。
Few-shot object detection is an imperative and long-lasting problem due to the inherent long-tail distribution of real-world data. Its performance is largely affected by the data scarcity of novel classes. But the semantic relation between the novel classes and the base classes is constant regardless of the data availability. In this work, we investigate utilizing this semantic relation together with the visual information and introduce explicit relation reasoning into the learning of novel object detection. Specifically, we represent each class concept by a semantic embedding learned from a large corpus of text. The detector is trained to project the image representations of objects into this embedding space. We also identify the problems of trivially using the raw embeddings with a heuristic knowledge graph and propose to augment the embeddings with a dynamic relation graph. As a result, our few-shot detector, termed SRR-FSD, is robust and stable to the variation of shots of novel objects. Experiments show that SRR-FSD can achieve competitive results at higher shots, and more importantly, a significantly better performance given both lower explicit and implicit shots. The proposed benchmark protocol with implicit shots removed from the pretrained classification dataset can serve as a more realistic setting for future research.