オブジェクト検出におけるディープニューラルネットワークの驚くべき精度にもかかわらず、監視要件のためにトレーニングとスケーリングにコストがかかります。特に、より多くのオブジェクトカテゴリを学習するには、通常、比例してより多くの境界ボックス注釈が必要です。オブジェクト検出器をより少ない教師ありでより多くのカテゴリにスケーリングするために、弱教師ありゼロショット学習手法が検討されてきましたが、教師ありモデルほど成功しておらず、広く採用されていません。この論文では、オブジェクト検出問題の新しい定式化、つまりオープンボキャブラリーオブジェクト検出を提示しました。これは、弱教師ありゼロショットアプローチよりも一般的で、実用的で、効果的です。限られたオブジェクトカテゴリのセットのバウンディングボックスアノテーションと、大幅に低いコストで多種多様なオブジェクトをカバーする画像とキャプションのペアを使用して、オブジェクト検出器をトレーニングする新しい方法を提案します。提案された方法が、ゼロショットアプローチよりも大幅に高い精度で、トレーニング中にバウンディングボックス注釈が提供されていないオブジェクトを検出およびローカライズできることを示します。一方、バウンディングボックスの注釈が付いたオブジェクトは、教師ありメソッドとほぼ同じくらい正確に検出できます。これは、弱く教師ありのベースラインよりも大幅に優れています。したがって、スケーラブルなオブジェクト検出のための新しい最先端技術を確立します。
Despite the remarkable accuracy of deep neural networks in object detection, they are costly to train and scale due to supervision requirements. Particularly, learning more object categories typically requires proportionally more bounding box annotations. Weakly supervised and zero-shot learning techniques have been explored to scale object detectors to more categories with less supervision, but they have not been as successful and widely adopted as supervised models. In this paper, we put forth a novel formulation of the object detection problem, namely open-vocabulary object detection, which is more general, more practical, and more effective than weakly supervised and zero-shot approaches. We propose a new method to train object detectors using bounding box annotations for a limited set of object categories, as well as image-caption pairs that cover a larger variety of objects at a significantly lower cost. We show that the proposed method can detect and localize objects for which no bounding box annotation is provided during training, at a significantly higher accuracy than zero-shot approaches. Meanwhile, objects with bounding box annotation can be detected almost as accurately as supervised methods, which is significantly better than weakly supervised baselines. Accordingly, we establish a new state of the art for scalable object detection.