人間と物体の相互作用(HOI)検出は、画像内の人間と物体の間の視覚的な関係を検出することを目的としています。 HOI検出の重要な問題の1つは、特に人間が近くにいてシーン内で同様のアクションを実行している場合、非対話型の人間とオブジェクトのペアが簡単に誤ってグループ化され、アクションとして誤って分類される可能性があることです。誤グループ化の問題に対処するために、人体の部分からオブジェクトの中心へ、およびオブジェクトの部分から人間の中心への2つの方向に細かいレベルの空間的制約を適用する空間拡張アプローチを提案します。推論では、アクションのオブジェクト専用プロパティを考慮して、人間とオブジェクトの再グループ化アプローチを提案します。この場合、ターゲットオブジェクトは複数の人間によって共有されるべきではありません。非対話型のペアを抑制することにより、私たちのアプローチは誤検知を減らすことができます。 V-COCOおよびHICO-DETデータセットでの実験は、シーン内に複数の人間とオブジェクトが存在する場合、既存の方法と比較して、私たちのアプローチがより堅牢であることを示しています。
Human-Object Interaction (HOI) detection aims to detect visual relations between human and objects in images. One significant problem of HOI detection is that non-interactive human-object pair can be easily mis-grouped and misclassified as an action, especially when humans are close and performing similar actions in the scene. To address the mis-grouping problem, we propose a spatial enhancement approach to enforce fine-level spatial constraints in two directions from human body parts to the object center, and from object parts to the human center. At inference, we propose a human-object regrouping approach by considering the object-exclusive property of an action, where the target object should not be shared by more than one human. By suppressing non-interactive pairs, our approach can decrease the false positives. Experiments on V-COCO and HICO-DET datasets demonstrate our approach is more robust compared to the existing methods under the presence of multiple humans and objects in the scene.