カメラや写真を介してオブジェクトとやり取りする場合、ユーザーは特定の意図を持っていることがよくあります。たとえば、ビジュアル検索を実行したい場合があります。ほとんどの物体検出モデルは、唯一の入力として画像ピクセルに依存しているため、望ましくない結果が生じることも珍しくありません。最も一般的なのは、目的のオブジェクトに対する信頼性の高い検出の欠如、または間違ったクラス ラベルによる検出です。この問題は、容量に制約のある移動体検出器をデバイス上で操作する場合に特に深刻です。この論文では、単純なクエリの埋め込みとして表現されたユーザーの意図を明示的に説明するために、モバイル検出器を変調する手法を調査します。標準の検出器と比較して、クエリ変調検出器は、特定のユーザー クエリのオブジェクトを検出する際に優れたパフォーマンスを示します。標準的なオブジェクト検出アノテーションから合成された大規模なトレーニング データのおかげで、クエリ変調検出器は、特殊な参照表現認識システムよりも優れています。クエリ変調検出器は、ユーザークエリのローカライズと標準検出の両方を同時に解決するようにトレーニングすることもでき、正規の COCO タスクで標準のモバイル検出器よりも優れています。
When interacting with objects through cameras, or pictures, users often have a specific intent. For example, they may want to perform a visual search. With most object detection models relying on image pixels as their sole input, undesired results are not uncommon. Most typically: lack of a high-confidence detection on the object of interest, or detection with a wrong class label. The issue is especially severe when operating capacity-constrained mobile object detectors on-device. In this paper we investigate techniques to modulate mobile detectors to explicitly account for the user intent, expressed as an embedding of a simple query. Compared to standard detectors, query-modulated detectors show superior performance at detecting objects for a given user query. Thanks to large-scale training data synthesized from standard object detection annotations, query-modulated detectors also outperform a specialized referring expression recognition system. Query-modulated detectors can also be trained to simultaneously solve for both localizing a user query and standard detection, even outperforming standard mobile detectors at the canonical COCO task.