深さの推定とセマンティックセグメンテーションは、シーンの理解に不可欠な役割を果たします。最先端の方法では、マルチタスク学習を使用して、これら2つのタスクのモデルをピクセル単位で同時に学習します。彼らは通常、共通の特徴を共有したり、対応するブランチから特徴マップをステッチしたりすることに焦点を当てています。ただし、これらの方法では、幾何学的な手がかりとシーンの解析の相関関係について詳細に検討する必要があります。本論文では、まず、イメージングプロセスの分析を通じてこれら2つのタスクの幾何学的関係を活用するためのセマンティックオブジェクトネスの概念を紹介し、次にオブジェクトネスの仮定に基づいたセマンティックオブジェクトセグメンテーションおよび深さ推定ネットワーク(SOSD-Net)を提案します。私たちの知る限り、SOSD-Netは、単眼深度の推定とセマンティックセグメンテーションを同時に行うためにジオメトリ制約を利用する最初のネットワークです。さらに、これら2つのタスク間の相互の暗黙の関係を考慮して、期待値最大化アルゴリズムからの反復アイデアを活用して、提案されたネットワークをより効果的にトレーニングします。 CityscapesおよびNYUv2データセットに関する広範な実験結果は、提案されたアプローチの優れたパフォーマンスを実証するために提示されています。
Depth estimation and semantic segmentation play essential roles in scene understanding. The state-of-the-art methods employ multi-task learning to simultaneously learn models for these two tasks at the pixel-wise level. They usually focus on sharing the common features or stitching feature maps from the corresponding branches. However, these methods lack in-depth consideration on the correlation of the geometric cues and the scene parsing. In this paper, we first introduce the concept of semantic objectness to exploit the geometric relationship of these two tasks through an analysis of the imaging process, then propose a Semantic Object Segmentation and Depth Estimation Network (SOSD-Net) based on the objectness assumption. To the best of our knowledge, SOSD-Net is the first network that exploits the geometry constraint for simultaneous monocular depth estimation and semantic segmentation. In addition, considering the mutual implicit relationship between these two tasks, we exploit the iterative idea from the expectation-maximization algorithm to train the proposed network more effectively. Extensive experimental results on the Cityscapes and NYU v2 dataset are presented to demonstrate the superior performance of the proposed approach.