視覚的な2.5D知覚には、環境内のビューアに関するオブジェクトの関係について推論することにより、シーンのセマンティクスとジオメトリを理解することが含まれます。ただし、視覚認識の既存の作業は、主にセマンティクスに焦点を当てています。このギャップを埋めるために、2.5D視覚関係検出(2.5VRD)を研究します。この検出では、オブジェクトを共同で検出し、それらの相対的な深度とオクルージョンの関係を予測します。一般的なVRDとは異なり、2.5VRDは自己中心的であり、すべての2.5D関係の共通の参照としてカメラの視点を使用します。深度推定とは異なり、2.5VRDはオブジェクト中心であり、深度だけに焦点を当てているわけではありません。このタスクの進行を可能にするために、11K画像からの512Kオブジェクト間の22万人の注釈付き2.5D関係で構成される新しいデータセットを作成します。このデータセットを分析し、このタスクに関する複数の最先端のVRDモデルのベンチマークを含む広範な実験を実施します。私たちの結果は、既存のモデルが2.5VRDを解決するためにセマンティックキューと単純なヒューリスティックに大きく依存していることを示しており、2.5D知覚のモデルに関するさらなる研究の動機付けとなっています。新しいデータセットはhttps://github.com/google-research-datasets/2.5vrdで入手できます。
Visual 2.5D perception involves understanding the semantics and geometry of a scene through reasoning about object relationships with respect to the viewer in an environment. However, existing works in visual recognition primarily focus on the semantics. To bridge this gap, we study 2.5D visual relationship detection (2.5VRD), in which the goal is to jointly detect objects and predict their relative depth and occlusion relationships. Unlike general VRD, 2.5VRD is egocentric, using the camera's viewpoint as a common reference for all 2.5D relationships. Unlike depth estimation, 2.5VRD is object-centric and not only focuses on depth. To enable progress on this task, we create a new dataset consisting of 220k human-annotated 2.5D relationships among 512K objects from 11K images. We analyze this dataset and conduct extensive experiments including benchmarking multiple state-of-the-art VRD models on this task. Our results show that existing models largely rely on semantic cues and simple heuristics to solve 2.5VRD, motivating further research on models for 2.5D perception. The new dataset is available at https://github.com/google-research-datasets/2.5vrd.