単眼深度推定とセマンティックセグメンテーションは、シーン理解の2つの基本的な目標です。タスクの相互作用の利点のために、多くの作品は共同タスク学習アルゴリズムを研究しています。ただし、ほとんどの既存のメソッドは、提供されたコンテキスト構造を無視し、それらを使用してセグメンテーション分割の予測を監視するだけで、セマンティックラベルを完全に活用できず、両方のタスクのパフォーマンスが制限されます。本論文では、問題を解決するために文脈情報を注入したネットワーク(CI-Net)を提案する。具体的には、エンコーダに自己注意ブロックを導入して注意マップを生成します。セマンティックラベルによって作成された理想的なアテンションマップからの監視により、ネットワークにはコンテキスト情報が埋め込まれているため、シーンをよりよく理解し、相関機能を利用して正確な予測を行うことができます。さらに、機能共有モジュールは、タスク固有の機能を深く融合させるように構築されており、機能を相互にガイドするために一貫性の喪失が考案されています。 NYU-Depth-v2およびSUN-RGBDデータセットで提案されたCI-Netを評価します。実験結果は、提案されたCI-Netがセマンティックセグメンテーションと深度推定の精度を効果的に改善できることを検証します。
Monocular depth estimation and semantic segmentation are two fundamental goals of scene understanding. Due to the advantages of task interaction, many works study the joint task learning algorithm. However, most existing methods fail to fully leverage the semantic labels, ignoring the provided context structures and only using them to supervise the prediction of segmentation split, which limit the performance of both tasks. In this paper, we propose a network injected with contextual information (CI-Net) to solve the problem. Specifically, we introduce self-attention block in the encoder to generate attention map. With supervision from the ideal attention map created by semantic label, the network is embedded with contextual information so that it could understand scene better and utilize correlated features to make accurate prediction. Besides, a feature sharing module is constructed to make the task-specific features deeply fused and a consistency loss is devised to make the features mutually guided. We evaluate the proposed CI-Net on the NYU-Depth-v2 and SUN-RGBD datasets. The experimental results validate that our proposed CI-Net could effectively improve the accuracy of semantic segmentation and depth estimation.