arXiv reaDer
Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense
  単一ビュー画像からの2つのタスクに共同で取り組む新しい3Dホリスティック++シーン理解問題を提案します:(i)ホリスティックシーンの解析と再構築-オブジェクトの境界ボックス、カメラポーズ、部屋のレイアウトの3D推定、および(ii )3D人間の姿勢推定。背後にある直感は、これら2つのタスクの結合された性質を活用して、シーン理解の粒度とパフォーマンスを改善することです。これら2つのタスク間の2つの重要かつ不可欠な接続を活用することを提案します:(i)シーン内のエージェントとオブジェクト間のきめの細かい関係をモデル化する人間とオブジェクトの相互作用(HOI)、および(ii)物理的妥当性をモデル化する物理的常識再構成されたシーンの。解析グラフで表される3Dシーンの最適な構成は、微分不可能なジョイントソリューション空間を効率的に通過するマルコフ連鎖モンテカルロ(MCMC)を使用して推定されます。実験結果は、提案されたアルゴリズムが3つのデータセットで2つのタスクのパフォーマンスを大幅に改善し、改善された一般化能力を示すことを示しています。
We propose a new 3D holistic++ scene understanding problem, which jointly tackles two tasks from a single-view image: (i) holistic scene parsing and reconstruction---3D estimations of object bounding boxes, camera pose, and room layout, and (ii) 3D human pose estimation. The intuition behind is to leverage the coupled nature of these two tasks to improve the granularity and performance of scene understanding. We propose to exploit two critical and essential connections between these two tasks: (i) human-object interaction (HOI) to model the fine-grained relations between agents and objects in the scene, and (ii) physical commonsense to model the physical plausibility of the reconstructed scene. The optimal configuration of the 3D scene, represented by a parse graph, is inferred using Markov chain Monte Carlo (MCMC), which efficiently traverses through the non-differentiable joint solution space. Experimental results demonstrate that the proposed algorithm significantly improves the performance of the two tasks on three datasets, showing an improved generalization ability.
updated: Wed Sep 04 2019 00:42:20 GMT+0000 (UTC)
published: Wed Sep 04 2019 00:42:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト