近年、人と物体の相互作用(HOI)の検出は目覚ましい進歩を遂げました。ただし、従来の2段階の方法では、通常、推論が遅くなります。一方、既存の一段階法は、主に相互作用の結合領域に焦点を合わせており、HOI検出の障害として不要な視覚情報を導入します。上記の問題に取り組むために、本論文では、HOI問題の相互作用領域と呼ばれる新しい概念に基づいて、新しい1段階HOI検出アプローチDIRVを提案します。以前の方法とは異なり、私たちのアプローチは、相互作用に最も重要な微妙な視覚的特徴をキャプチャするために、人間とオブジェクトのペアごとに異なるスケールにわたって密にサンプリングされた相互作用領域に焦点を当てています。さらに、単一の相互作用領域の検出の欠陥を補うために、従来の非最大抑制(NMS)の代わりに、これらの重複する相互作用領域を最大限に活用する新しい投票戦略を導入します。 V-COCOとHICO-DETの2つの一般的なベンチマークに関する広範な実験により、私たちのアプローチは、最高の推論速度と最軽量のネットワークアーキテクチャにより、既存の最先端技術を大幅に上回っています。追加の入力なしで、V-COCOで56.1mAPを達成しました。私たちのコードはhttps://github.com/MVIG-SJTU/DIRVで公開されています
Recent years, human-object interaction (HOI) detection has achieved impressive advances. However, conventional two-stage methods are usually slow in inference. On the other hand, existing one-stage methods mainly focus on the union regions of interactions, which introduce unnecessary visual information as disturbances to HOI detection. To tackle the problems above, we propose a novel one-stage HOI detection approach DIRV in this paper, based on a new concept called interaction region for the HOI problem. Unlike previous methods, our approach concentrates on the densely sampled interaction regions across different scales for each human-object pair, so as to capture the subtle visual features that is most essential to the interaction. Moreover, in order to compensate for the detection flaws of a single interaction region, we introduce a novel voting strategy that makes full use of those overlapped interaction regions in place of conventional Non-Maximal Suppression (NMS). Extensive experiments on two popular benchmarks: V-COCO and HICO-DET show that our approach outperforms existing state-of-the-arts by a large margin with the highest inference speed and lightest network architecture. We achieved 56.1 mAP on V-COCO without addtional input. Our code is publicly available at: https://github.com/MVIG-SJTU/DIRV