人間と物体の相互作用(HOI)の検出は、人間が物体とどのように相互作用するかを理解するための重要な問題です。この論文では、人間と物体が相互作用するかどうかを示す相互作用の知識を探求します。インタラクティブ性の知識はHOIデータセット全体で学習でき、さまざまなHOIカテゴリ設定間のギャップを埋めることができることがわかりました。私たちのコアアイデアは、インタラクティブ性ネットワークを活用して、複数のHOIデータセットから一般的なインタラクティブ性の知識を学習し、推論におけるHOI分類の前に非相互作用抑制(NIS)を実行することです。インタラクティブ性の一般化能力のために、インタラクティブ性ネットワークは移転可能な知識学習者であり、望ましい結果を達成するために任意のHOI検出モデルと連携することができます。人間のインスタンスと体の部分の機能を一緒に利用して、階層的なパラダイムのインタラクティブ性、つまりインスタンスレベルと体の部分レベルのインタラクティブ性を学習します。その後、学習を導き、より深いインタラクティブな視覚的手がかりを抽出するための一貫性タスクが提案されます。 HICO-DET、V-COCO、および新しく構築されたPaStaNet-HOIデータセットで提案された方法を広範囲に評価します。学習されたインタラクティブ性により、私たちの方法は最先端のHOI検出方法よりも優れており、その有効性と柔軟性を検証しています。コードはhttps://github.com/DirtyHarryLYL/Transferable-Interactiveness-Networkで入手できます。
Human-Object Interaction (HOI) detection is an important problem to understand how humans interact with objects. In this paper, we explore interactiveness knowledge which indicates whether a human and an object interact with each other or not. We found that interactiveness knowledge can be learned across HOI datasets and bridge the gap between diverse HOI category settings. Our core idea is to exploit an interactiveness network to learn the general interactiveness knowledge from multiple HOI datasets and perform Non-Interaction Suppression (NIS) before HOI classification in inference. On account of the generalization ability of interactiveness, interactiveness network is a transferable knowledge learner and can be cooperated with any HOI detection models to achieve desirable results. We utilize the human instance and body part features together to learn the interactiveness in hierarchical paradigm, i.e., instance-level and body part-level interactivenesses. Thereafter, a consistency task is proposed to guide the learning and extract deeper interactive visual clues. We extensively evaluate the proposed method on HICO-DET, V-COCO, and a newly constructed PaStaNet-HOI dataset. With the learned interactiveness, our method outperforms state-of-the-art HOI detection methods, verifying its efficacy and flexibility. Code is available at https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.