arXiv reaDer
Interact as You Intend: Intention-Driven Human-Object Interaction Detection
  インスタンスレベルの検出タスクの最近の進歩は、視覚シーンの真の理解のための強力な基盤となります。ただし、ソーシャルシーンを完全に理解する能力はまだ準備段階です。この作業では、ソーシャルシーン画像での人間とオブジェクトの相互作用(HOI)の検出に焦点を当てています。これは、研究の観点から要求が多く、実用化にますます役立ちます。オブジェクトと相互作用するソーシャルタスクを引き受けるために、人間は注意を向け、意図に基づいて身体を動かします。この観察に基づいて、HOI検出における人間の意図を探求するためのユニークな計算の観点を提供します。具体的には、提案された人間の意図駆動型HOI検出(iHOI)フレームワークは、体の関節からオブジェクトインスタンスまでの相対的な距離で人間のポーズをモデル化します。また、人間の視線を利用して、弱く監督された設定で、参加しているコンテキスト領域をガイドします。さらに、誤グループ化の問題に対処するためのハードネガティブサンプリング戦略を提案します。 2つのベンチマークデータセット、つまりV-COCOとHICO-DETで広範な実験を実行します。提案された各コンポーネントの有効性も検証されています。
The recent advances in instance-level detection tasks lay strong foundation for genuine comprehension of the visual scenes. However, the ability to fully comprehend a social scene is still in its preliminary stage. In this work, we focus on detecting human-object interactions (HOIs) in social scene images, which is demanding in terms of research and increasingly useful for practical applications. To undertake social tasks interacting with objects, humans direct their attention and move their body based on their intention. Based on this observation, we provide a unique computational perspective to explore human intention in HOI detection. Specifically, the proposed human intention-driven HOI detection (iHOI) framework models human pose with the relative distances from body joints to the object instances. It also utilizes human gaze to guide the attended contextual regions in a weakly-supervised setting. In addition, we propose a hard negative sampling strategy to address the problem of mis-grouping. We perform extensive experiments on two benchmark datasets, namely V-COCO and HICO-DET. The efficacy of each proposed component has also been validated.
updated: Sun Sep 22 2019 11:45:38 GMT+0000 (UTC)
published: Wed Aug 29 2018 13:25:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト