単眼深度推定とセマンティックセグメンテーションは、シーン理解の2つの基本的な目標です。タスクの相互作用の利点のために、多くの作品は共同タスク学習アルゴリズムを研究しています。ただし、ほとんどの既存のメソッドは、提供されたコンテキスト構造を無視し、それらを使用してセグメンテーション分割の予測を監視するだけで、セマンティックラベルを完全に活用できません。本論文では、問題を解決するために文脈情報を注入したネットワーク(CI-Net)を提案する。具体的には、エンコーダに自己注意ブロックを導入して注意マップを生成します。セマンティックラベルによって作成されたグラウンドトゥルースからの監視により、ネットワークにはコンテキスト情報が埋め込まれているため、依存する機能を利用して正確な予測を行うことで、シーンをよりよく理解できます。さらに、機能共有モジュールは、タスク固有の機能を深く融合させるように構築されており、機能を相互にガイドするために一貫性の喪失が考案されています。 NYU-Depth-v2およびSUN-RGBDデータセットで提案されたCI-Netを評価します。実験結果は、提案されたCI-Netが最先端技術と競合していることを検証しています。
Monocular depth estimation and semantic segmentation are two fundamental goals of scene understanding. Due to the advantages of task interaction, many works study the joint task learning algorithm. However, most existing methods fail to fully leverage the semantic labels, ignoring the provided context structures and only using them to supervise the prediction of segmentation split. In this paper, we propose a network injected with contextual information (CI-Net) to solve the problem. Specifically, we introduce self-attention block in the encoder to generate attention map. With supervision from the ground truth created by semantic labels, the network is embedded with contextual information so that it could understand the scene better, utilizing dependent features to make accurate prediction. Besides, a feature sharing module is constructed to make the task-specific features deeply fused and a consistency loss is devised to make the features mutually guided. We evaluate the proposed CI-Net on the NYU-Depth-v2 and SUN-RGBD datasets. The experimental results validate that our proposed CI-Net is competitive with the state-of-the-arts.