arXiv reaDer
Polarity Loss for Zero-shot Object Detection
 従来のオブジェクト検出モデルは、大量のトレーニングデータを必要とします。対照的に、人間は、自分たちの意味論的記述を知るだけで、以前には見えなかったオブジェクトを認識することができます。同様の動作を模倣するために、ゼロショットオブジェクト検出は、セマンティック情報のみを使用して「見えない」オブジェクトインスタンスを認識し、ローカライズすることを目的としています。モデルは最初に、見られたオブジェクトの視覚的ドメインと意味論的ドメインの関係を学習するようにトレーニングされ、その後、取得した知識をまったく見えないオブジェクトに転送します。この設定では、視覚的概念と意味論的概念を正しく位置合わせする必要があるため、見えないオブジェクトは、それらの意味論的属性のみを使用して識別できます。この論文では、ゼロショット物体の検出を改善するために、正しい視覚的意味の整列を促進する「極性損失」と呼ばれる新しい損失関数を提案します。一方では、関連する概念の「セマンティックボキャブラリ」のメトリック学習を介して、ノイズの多いセマンティックエンベディングを洗練し、視覚ドメインとセマンティックドメインの相乗効果を確立します。一方、ポジティブ予測とネガティブ予測の間のギャップを明示的に最大化して、見えているオブジェクト、見えていないオブジェクト、および背景オブジェクト間の識別を向上させます。私たちのアプローチは、認知科学における具体化理論に触発されており、人間の意味的理解は過去の経験(オブジェクト)、関連する言語概念(単語ボキャブラリー)、視覚的知覚(オブジェクトの見えない/見えない画像)に基づいていると主張しています。 MS-COCOおよびPascal VOCデータセットに対して広範な評価を実施し、最先端の技術に対して大幅な改善を示しています。
Conventional object detection models require large amounts of training data. In comparison, humans can recognize previously unseen objects by merely knowing their semantic description. To mimic similar behaviour, zero-shot object detection aims to recognize and localize 'unseen' object instances by using only their semantic information. The model is first trained to learn the relationships between visual and semantic domains for seen objects, later transferring the acquired knowledge to totally unseen objects. This setting gives rise to the need for correct alignment between visual and semantic concepts, so that the unseen objects can be identified using only their semantic attributes. In this paper, we propose a novel loss function called 'Polarity loss', that promotes correct visual-semantic alignment for an improved zero-shot object detection. On one hand, it refines the noisy semantic embeddings via metric learning on a 'Semantic vocabulary' of related concepts to establish a better synergy between visual and semantic domains. On the other hand, it explicitly maximizes the gap between positive and negative predictions to achieve better discrimination between seen, unseen and background objects. Our approach is inspired by embodiment theories in cognitive science, that claim human semantic understanding to be grounded in past experiences (seen objects), related linguistic concepts (word vocabulary) and visual perception (seen/unseen object images). We conduct extensive evaluations on MS-COCO and Pascal VOC datasets, showing significant improvements over state of the art.
updated: Thu Apr 02 2020 05:53:10 GMT+0000 (UTC)
published: Thu Nov 22 2018 01:01:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト